超大規(guī)模 Flink 調(diào)度優(yōu)化實(shí)踐

案例背景:
大數(shù)據(jù)時(shí)代，業(yè)務(wù)對數(shù)據(jù)處理的實(shí)時(shí)性要求越來越高，例如異常檢測，指標(biāo)大盤等，由此流式計(jì)算變得越來越重要。在字節(jié)的 Flink 使用場景中，調(diào)度是非常重要的一個(gè)步驟，主要分為兩個(gè)模塊資源調(diào)度和Task 調(diào)度。
在資源調(diào)度方面，希望 container 分布均勻，避免造成單機(jī)負(fù)載過高；同時(shí)希望分配后機(jī)器 quota 均衡避免碎片。還有就是調(diào)度時(shí)盡可能避開高 load 節(jié)點(diǎn)。
在 Task 調(diào)度方面，希望更均衡的調(diào)度 Task，減少 TaskManager 間資源需求差異，減少資源浪費(fèi)；其次在大規(guī)模集群下單機(jī)故障是不可避免的，我們需要黑名單機(jī)制來提升 Flink 的穩(wěn)定性。

解決思路:
針對上述問題，我們優(yōu)化了 Flink 引擎的調(diào)度策略，使其更均衡的將 Task 調(diào)度到各 TaskManager，減少資源浪費(fèi)，也便于用戶配置資源。我們也提供了多維度黑名單機(jī)制，解決作業(yè)再單機(jī)故障下不能自動恢復(fù)的問題。
同時(shí) YARN 團(tuán)隊(duì)也針對實(shí)時(shí)計(jì)算場景支持了“container 打散”、“節(jié)點(diǎn) quota 均衡”、“高 load 節(jié)點(diǎn)跳過”等調(diào)度謂詞。

成果：
經(jīng)過上述優(yōu)化，我們減少了資源浪費(fèi)，提升了穩(wěn)定性及易用性。