課程簡介

快手最初采用了開源Airflow作為分布式任務調度系統(tǒng)，但隨著業(yè)務的迅速發(fā)展，面臨調度延遲、故障率、擴展性等方面的重大挑戰(zhàn)，亟需數(shù)據中臺自研下一代工作流調度引擎，為此快手數(shù)據中臺團隊從0到1構建了分布式任務調度引擎，并推廣到所有業(yè)務線，尤其是其引入的任務分級調度和恢復的能力，在春晚紅包活動的離線數(shù)據鏈路穩(wěn)定性保障中發(fā)揮了巨大作用。

目標收益

1. 數(shù)據中臺下任務調度系統(tǒng)的設計與實現(xiàn)
2. 任務調度系統(tǒng)的廣泛應用
3. 任務調度系統(tǒng)在數(shù)據中臺中的作用

培訓對象

課程內容

案例方向

---

數(shù)據商業(yè)化/大數(shù)據架構/NLP/人工智能產品落地

案例背景

---

快手最初采用了開源Airflow作為分布式任務調度系統(tǒng)，但隨著業(yè)務的迅速發(fā)展，面臨調度延遲、故障率、擴展性等方面的重大挑戰(zhàn)，亟需數(shù)據中臺自研下一代工作流調度引擎，為此快手數(shù)據中臺團隊從0到1構建了分布式任務調度引擎，并推廣到所有業(yè)務線，尤其是其引入的任務分級調度和恢復的能力，在春晚紅包活動的離線數(shù)據鏈路穩(wěn)定性保障中發(fā)揮了巨大作用。

收益

---

1. 數(shù)據中臺下任務調度系統(tǒng)的設計與實現(xiàn)
2. 任務調度系統(tǒng)的廣泛應用
3. 任務調度系統(tǒng)在數(shù)據中臺中的作用
4. 應用于

解決思路

---

1. 百萬級任務并發(fā)調度
2. 高擴展低延遲
3. 事件驅動
4. 微服務等

結果

---

1. 系統(tǒng)擴展性提高
2. 調度延遲指標極大提升
3. 接入效率提高
4. 機器成本降低
5. 應用于春晚紅包活動的數(shù)據鏈路保障中，作用巨大