課程簡介
利用Kafka搭建一站式大數(shù)據(jù)平臺
目標收益
Kafka是流式處理系統(tǒng)如Spark streaming,Strom及Flink事實上的標準數(shù)據(jù)入口,本課程將從架構(gòu)、生產(chǎn)消費示例、性能、運維等全方位深入分析這一大數(shù)據(jù)利器。
培訓對象
課程內(nèi)容
1. Kafka架構(gòu)介紹
1.1 為何使用消息系統(tǒng)
1.2 Kafka設計理念
2. Kafka高可用性方案演進
2.1 基于ISR的數(shù)據(jù)復制
2.2 Kafka領導選舉
3. Kafka Consumer Rebalance演進
3.1 Consumer API
3.2 自治式Consumer Group Rebalance
3.3 集權(quán)式Rebalance
4. Kafka實現(xiàn)Exactly Once
4.1 不同的Delivery Guarantee
4.2 基于冪等的的Exactly Once
4.3 基于事務的Exactly Once
5. Kafka Stream
5.1 Kafka Stream特點
5.2 Kafka Stream示例
6. Kafka運維
6.1 分區(qū)重新分配
6.2 Preferred Replica Election