課程簡(jiǎn)介

案例背景:
大數(shù)據(jù)時(shí)代，業(yè)務(wù)對(duì)數(shù)據(jù)處理的實(shí)時(shí)性要求越來(lái)越高，例如異常檢測(cè)，指標(biāo)大盤(pán)等，由此流式計(jì)算變得越來(lái)越重要。在字節(jié)的 Flink 使用場(chǎng)景中，調(diào)度是非常重要的一個(gè)步驟，主要分為兩個(gè)模塊資源調(diào)度和Task 調(diào)度。
在資源調(diào)度方面，希望 container 分布均勻，避免造成單機(jī)負(fù)載過(guò)高；同時(shí)希望分配后機(jī)器 quota 均衡避免碎片。還有就是調(diào)度時(shí)盡可能避開(kāi)高 load 節(jié)點(diǎn)。
在 Task 調(diào)度方面，希望更均衡的調(diào)度 Task，減少 TaskManager 間資源需求差異，減少資源浪費(fèi)；其次在大規(guī)模集群下單機(jī)故障是不可避免的，我們需要黑名單機(jī)制來(lái)提升 Flink 的穩(wěn)定性。

解決思路:
針對(duì)上述問(wèn)題，我們優(yōu)化了 Flink 引擎的調(diào)度策略，使其更均衡的將 Task 調(diào)度到各 TaskManager，減少資源浪費(fèi)，也便于用戶(hù)配置資源。我們也提供了多維度黑名單機(jī)制，解決作業(yè)再單機(jī)故障下不能自動(dòng)恢復(fù)的問(wèn)題。
同時(shí) YARN 團(tuán)隊(duì)也針對(duì)實(shí)時(shí)計(jì)算場(chǎng)景支持了“container 打散”、“節(jié)點(diǎn) quota 均衡”、“高 load 節(jié)點(diǎn)跳過(guò)”等調(diào)度謂詞。

成果：
經(jīng)過(guò)上述優(yōu)化，我們減少了資源浪費(fèi)，提升了穩(wěn)定性及易用性。

目標(biāo)收益

1. Flink 內(nèi)部調(diào)度機(jī)制及優(yōu)化
2. Flink 在超大規(guī)模下的優(yōu)化

培訓(xùn)對(duì)象

課程內(nèi)容

案例方向

---

智能數(shù)據(jù)分析/企業(yè)級(jí)大數(shù)據(jù)架構(gòu)演進(jìn)/流式計(jì)算系統(tǒng)設(shè)計(jì)/數(shù)據(jù)庫(kù)的未來(lái)

案例背景

---

大數(shù)據(jù)時(shí)代，業(yè)務(wù)對(duì)數(shù)據(jù)處理的實(shí)時(shí)性要求越來(lái)越高，例如異常檢測(cè)，指標(biāo)大盤(pán)等，由此流式計(jì)算變得越來(lái)越重要。在字節(jié)的 Flink 使用場(chǎng)景中，調(diào)度是非常重要的一個(gè)步驟，主要分為兩個(gè)模塊資源調(diào)度和Task 調(diào)度。
在資源調(diào)度方面，希望 container 分布均勻，避免造成單機(jī)負(fù)載過(guò)高；同時(shí)希望分配后機(jī)器 quota 均衡避免碎片。還有就是調(diào)度時(shí)盡可能避開(kāi)高 load 節(jié)點(diǎn)。
在 Task 調(diào)度方面，希望更均衡的調(diào)度 Task，減少 TaskManager 間資源需求差異，減少資源浪費(fèi)；其次在大規(guī)模集群下單機(jī)故障是不可避免的，我們需要黑名單機(jī)制來(lái)提升 Flink 的穩(wěn)定性。

收益

---

1. Flink 內(nèi)部調(diào)度機(jī)制及優(yōu)化
2. Flink 在超大規(guī)模下的優(yōu)化

解決思路

---

針對(duì)上述問(wèn)題，我們優(yōu)化了 Flink 引擎的調(diào)度策略，使其更均衡的將 Task 調(diào)度到各 TaskManager，減少資源浪費(fèi)，也便于用戶(hù)配置資源。我們也提供了多維度黑名單機(jī)制，解決作業(yè)再單機(jī)故障下不能自動(dòng)恢復(fù)的問(wèn)題。
同時(shí) YARN 團(tuán)隊(duì)也針對(duì)實(shí)時(shí)計(jì)算場(chǎng)景支持了“container 打散”、“節(jié)點(diǎn) quota 均衡”、“高 load 節(jié)點(diǎn)跳過(guò)”等調(diào)度謂詞。

結(jié)果

---

經(jīng)過(guò)上述優(yōu)化，我們減少了資源浪費(fèi)，提升了穩(wěn)定性及易用性。