課程簡(jiǎn)介

案例背景:
大數(shù)據(jù)時(shí)代，數(shù)據(jù)量增量迅速，相應(yīng)的計(jì)算力的提升也就尤為重要，我們?cè)賹?shí)踐中遇到了以下問(wèn)題：
1. Container 分布集中，導(dǎo)致單機(jī) IO 過(guò)高，影響 Task 處理性能。
2. Task 調(diào)度不均，每個(gè) Container 內(nèi)部調(diào)度的 Task 數(shù)量不等，整體需要按照最大值配置，導(dǎo)致了計(jì)算資源的大量浪費(fèi)。

解決思路:
針對(duì)上述問(wèn)題，YARN 團(tuán)隊(duì)針對(duì)實(shí)時(shí)計(jì)算場(chǎng)景也開(kāi)發(fā)了 GangScheduler，具備 Container 維度更優(yōu)的調(diào)度能力。同時(shí)我們也優(yōu)化了 Flink 引擎的調(diào)度策略，使其更均衡的將 Task 調(diào)度到各 TaskManager，減少資源浪費(fèi)，也便于用戶配置資源。

成果:

經(jīng)過(guò)上述優(yōu)化，我們減少了資源浪費(fèi)，并提升了數(shù)據(jù)處理能力。

目標(biāo)收益

1. 了解 Flink 內(nèi)部調(diào)度機(jī)制
2. 了解調(diào)度對(duì)計(jì)算力提升的價(jià)值
3. 了解一種新的調(diào)度優(yōu)化方案

培訓(xùn)對(duì)象

課程內(nèi)容

案例方向

---

智能數(shù)據(jù)分析/企業(yè)級(jí)大數(shù)據(jù)架構(gòu)演進(jìn)/流式計(jì)算系統(tǒng)設(shè)計(jì)/數(shù)據(jù)庫(kù)的未來(lái)

案例背景

---

大數(shù)據(jù)時(shí)代，數(shù)據(jù)量增量迅速，相應(yīng)的計(jì)算力的提升也就尤為重要，我們?cè)賹?shí)踐中遇到了以下問(wèn)題：
1. Container 分布集中，導(dǎo)致單機(jī) IO 過(guò)高，影響 Task 處理性能。
2. Task 調(diào)度不均，每個(gè) Container 內(nèi)部調(diào)度的 Task 數(shù)量不等，整體需要按照最大值配置，導(dǎo)致了計(jì)算資源的大量浪費(fèi)。

收益

---

1. 了解 Flink 內(nèi)部調(diào)度機(jī)制
2. 了解調(diào)度對(duì)計(jì)算力提升的價(jià)值
3. 了解一種新的調(diào)度優(yōu)化方案

解決思路

---

針對(duì)上述問(wèn)題，YARN 團(tuán)隊(duì)針對(duì)實(shí)時(shí)計(jì)算場(chǎng)景也開(kāi)發(fā)了 GangScheduler，具備 Container 維度更優(yōu)的調(diào)度能力。同時(shí)我們也優(yōu)化了 Flink 引擎的調(diào)度策略，使其更均衡的將 Task 調(diào)度到各 TaskManager，減少資源浪費(fèi)，也便于用戶配置資源。

結(jié)果

---

經(jīng)過(guò)上述優(yōu)化，我們減少了資源浪費(fèi)，并提升了數(shù)據(jù)處理能力。