Flink on Yarn 調(diào)度均衡優(yōu)化

案例背景:
大數(shù)據(jù)時代，數(shù)據(jù)量增量迅速，相應(yīng)的計算力的提升也就尤為重要，我們再實踐中遇到了以下問題：
1. Container 分布集中，導(dǎo)致單機 IO 過高，影響 Task 處理性能。
2. Task 調(diào)度不均，每個 Container 內(nèi)部調(diào)度的 Task 數(shù)量不等，整體需要按照最大值配置，導(dǎo)致了計算資源的大量浪費。

解決思路:
針對上述問題，YARN 團隊針對實時計算場景也開發(fā)了 GangScheduler，具備 Container 維度更優(yōu)的調(diào)度能力。同時我們也優(yōu)化了 Flink 引擎的調(diào)度策略，使其更均衡的將 Task 調(diào)度到各 TaskManager，減少資源浪費，也便于用戶配置資源。

成果:

經(jīng)過上述優(yōu)化，我們減少了資源浪費，并提升了數(shù)據(jù)處理能力。