課程簡介
本課程的大綱設置，注重的是Flink基礎和核心技術的梳理和掌握，之后會對其中幾個重要的技術點做深入分析。針對企業(yè)內訓的需求，我們對大綱的設置，特別增加了學以致用的實戰(zhàn)環(huán)節(jié)，讓企業(yè)學員能夠在學習完Flink技術知識后，具備將Flink應用到實際生產(chǎn)環(huán)境中的能力，通過短時間的技術學習，為公司創(chuàng)造價值和提高技術生產(chǎn)的效率。
本課程理論和實戰(zhàn)相結合，能夠通過實踐學習Flink的核心知識點和應用場景
本課程的最大亮點是“Flink實時數(shù)據(jù)倉庫項目實戰(zhàn)”模塊，通過真實的實時數(shù)倉項目，幫助學員能夠快速進入Flink項目的開發(fā)。
目標收益
-深入了解流批一體數(shù)據(jù)攝取、整合、處理和應用的解決方案和技術體系架構
-了解Flink的典型應用場景和Flink在大型互聯(lián)網(wǎng)的典型應用
-深入了解Flink技術棧的功能和應用場景，對流批一體的解決方案和落地有深入的理解，并且能夠落地
-深入了解Flink編程模型及核心原理、DataSet API編程、DataStream API編程、Flink Table API&SQL編程、Time及Window操作、Flink 常用Connectors介紹、Flink監(jiān)控和調優(yōu)
-Flink實時數(shù)據(jù)倉庫項目實戰(zhàn)，了解實時數(shù)據(jù)倉庫的技術架構、從數(shù)據(jù)攝取到數(shù)據(jù)展示的全鏈路數(shù)據(jù)實時處理的過程
-學員能夠自主獨立的使用Flink進行實時數(shù)倉平臺的開發(fā)工作
培訓對象
-大數(shù)據(jù)平臺架構師
-一線大數(shù)據(jù)開發(fā)人員
-對Flink流批一體數(shù)據(jù)平臺感興趣的人員
課程大綱
|
第一天 流批一體架構案例分享 |
離線數(shù)倉技術架構和技術棧介紹 實時數(shù)倉架構架構和技術棧介紹 流批一體架構的優(yōu)點 流批一體架構解決方案 流批一體架構技術棧詳解 流批一體數(shù)據(jù)架構的設計 流批一體數(shù)據(jù)攝取、整合、處理和應用的解決方案 流批一體平臺架構在互聯(lián)的實戰(zhàn) 美團流批一體平臺架構分享 |
| 基于Flink流批一體數(shù)倉案例實戰(zhàn) |
滴滴基于Flink實現(xiàn)復雜事件處理的案例分享 —Flink+CEP —Flink狀態(tài)管理 —Flink運維和優(yōu)化 —Flink容錯機制 —Flink反壓機制 —Flink任務的雙鏈路備用 阿里巴巴基于Flink實時統(tǒng)計案例分享 —阿里雙十一實時架構分享 —雙流數(shù)據(jù)Join處理 —Flink流失實倉架構詳解 Flink CEP實時規(guī)則引擎詳解 |
| Flink 技術棧介紹 |
Flink Table API介紹 Flink SQL介紹 Flink CDC Connect介紹 Flink CEP復雜事件處理 Flink Gelly圖計算應用 Flink ML機器學習應用 PyFlink數(shù)據(jù)分析和挖掘介紹 Flink Metrics 與監(jiān)控 |
| Flink on yarn原理 |
Flink的運行模式介紹 Flink on standalone運行模式介紹 Flink on yarn運行模式 —Session mode模式介紹和實戰(zhàn) —Per-job mode模式介紹和實戰(zhàn) —Application mode模式和實戰(zhàn) 三種模式的優(yōu)缺點比較 |
| Flink有狀態(tài)的計算、狀態(tài)管理和容錯 |
什么是有狀態(tài)計算 有狀態(tài)計算中的數(shù)據(jù)一致性挑戰(zhàn) 理解state狀態(tài) Operator State 的使用及Redistribute Keyed State的使用與Redistribute Broadcast State的使用 Checkpoint核心原理剖析 Checkpoint使用條件及使用步驟 Checkpoint相關配置及重啟策略 Savepoint的觸發(fā)、Job恢復及刪除 |
| Flink DataStream API原理和實戰(zhàn) |
DataStream API介紹與使用 DataStream編程模型 DataStream類型與轉換 Pipeline與StreamGraph轉換 Transformation 時間概念與Watermark Windows窗口計算和多流合并 作業(yè)鏈和資源組 Asynchronous I/O異步API Asynchronous I/O異步原理 |
| Flink DataSet API介紹和實戰(zhàn) |
DataSet API，Transformation 迭代計算 廣播變量與分布式緩存 語義注解 DataSetUtils工具類 |
|
第二天 Flink Table API & SQL實戰(zhàn) |
Flink table API原理和使用 Flink SQL原理和使用 TableEnviroment原理和使用 Table Connector注冊機制和使用 TimeStamp與Watermark原理和實戰(zhàn) Temporal Tables原理實戰(zhàn) 多表關聯(lián)實戰(zhàn) 與Hive的集成實戰(zhàn) 自定義TableSource、Table Sink和Table Factory實戰(zhàn) Flink SQL Catalog原理 項目實戰(zhàn)：基于Flink SQL實現(xiàn)數(shù)據(jù)統(tǒng)計分析 |
| Flink Connector介紹和實戰(zhàn) |
Flink Connector數(shù)據(jù)源 FlinkKafkaSource序列化、消費模式 FlinkKafkaSource容錯、動態(tài)分區(qū)及topic FlinkKafkaSink序列化、配置、分區(qū)與容錯 自定義Source和Sink |
| Flink CDC介紹 |
傳統(tǒng)CDC工具介紹 CDC工具介紹和比較 Flink CDC支持的功能 基于日志CDC的數(shù)據(jù)同步流程 ETL—傳統(tǒng)CDC ETL分析 ETL—基于Flink CDC 聚合分析 Flink CDC 數(shù)據(jù)寬表 Flink SQL如何集成CDC Flink CDC 作為數(shù)據(jù)采集層的優(yōu)勢 |
| 項目實戰(zhàn)RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana項目實戰(zhàn) |
RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana項目實戰(zhàn)： Docker演示環(huán)境介紹 Flink CDC mysql實戰(zhàn) Flink CDC postgres實戰(zhàn) Flink CDC Kafka實戰(zhàn) Flink CDC ES實現(xiàn) Kibana結果展示 RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana完整項目實戰(zhàn) |
| Flink監(jiān)控和優(yōu)化 |
Flink Metric使用介紹 Flink RestAPI介紹和使用 Backpressure監(jiān)控與優(yōu)化 Checkpointing監(jiān)控與優(yōu)化 Flink內存管理和優(yōu)化 窗口和事件事件調試 HistoryServer服務介紹 |
|
第一天 流批一體架構案例分享 離線數(shù)倉技術架構和技術棧介紹 實時數(shù)倉架構架構和技術棧介紹 流批一體架構的優(yōu)點 流批一體架構解決方案 流批一體架構技術棧詳解 流批一體數(shù)據(jù)架構的設計 流批一體數(shù)據(jù)攝取、整合、處理和應用的解決方案 流批一體平臺架構在互聯(lián)的實戰(zhàn) 美團流批一體平臺架構分享 |
|
基于Flink流批一體數(shù)倉案例實戰(zhàn) 滴滴基于Flink實現(xiàn)復雜事件處理的案例分享 —Flink+CEP —Flink狀態(tài)管理 —Flink運維和優(yōu)化 —Flink容錯機制 —Flink反壓機制 —Flink任務的雙鏈路備用 阿里巴巴基于Flink實時統(tǒng)計案例分享 —阿里雙十一實時架構分享 —雙流數(shù)據(jù)Join處理 —Flink流失實倉架構詳解 Flink CEP實時規(guī)則引擎詳解 |
|
Flink 技術棧介紹 Flink Table API介紹 Flink SQL介紹 Flink CDC Connect介紹 Flink CEP復雜事件處理 Flink Gelly圖計算應用 Flink ML機器學習應用 PyFlink數(shù)據(jù)分析和挖掘介紹 Flink Metrics 與監(jiān)控 |
|
Flink on yarn原理 Flink的運行模式介紹 Flink on standalone運行模式介紹 Flink on yarn運行模式 —Session mode模式介紹和實戰(zhàn) —Per-job mode模式介紹和實戰(zhàn) —Application mode模式和實戰(zhàn) 三種模式的優(yōu)缺點比較 |
|
Flink有狀態(tài)的計算、狀態(tài)管理和容錯 什么是有狀態(tài)計算 有狀態(tài)計算中的數(shù)據(jù)一致性挑戰(zhàn) 理解state狀態(tài) Operator State 的使用及Redistribute Keyed State的使用與Redistribute Broadcast State的使用 Checkpoint核心原理剖析 Checkpoint使用條件及使用步驟 Checkpoint相關配置及重啟策略 Savepoint的觸發(fā)、Job恢復及刪除 |
|
Flink DataStream API原理和實戰(zhàn) DataStream API介紹與使用 DataStream編程模型 DataStream類型與轉換 Pipeline與StreamGraph轉換 Transformation 時間概念與Watermark Windows窗口計算和多流合并 作業(yè)鏈和資源組 Asynchronous I/O異步API Asynchronous I/O異步原理 |
|
Flink DataSet API介紹和實戰(zhàn) DataSet API，Transformation 迭代計算 廣播變量與分布式緩存 語義注解 DataSetUtils工具類 |
|
第二天 Flink Table API & SQL實戰(zhàn) Flink table API原理和使用 Flink SQL原理和使用 TableEnviroment原理和使用 Table Connector注冊機制和使用 TimeStamp與Watermark原理和實戰(zhàn) Temporal Tables原理實戰(zhàn) 多表關聯(lián)實戰(zhàn) 與Hive的集成實戰(zhàn) 自定義TableSource、Table Sink和Table Factory實戰(zhàn) Flink SQL Catalog原理 項目實戰(zhàn)：基于Flink SQL實現(xiàn)數(shù)據(jù)統(tǒng)計分析 |
|
Flink Connector介紹和實戰(zhàn) Flink Connector數(shù)據(jù)源 FlinkKafkaSource序列化、消費模式 FlinkKafkaSource容錯、動態(tài)分區(qū)及topic FlinkKafkaSink序列化、配置、分區(qū)與容錯 自定義Source和Sink |
|
Flink CDC介紹 傳統(tǒng)CDC工具介紹 CDC工具介紹和比較 Flink CDC支持的功能 基于日志CDC的數(shù)據(jù)同步流程 ETL—傳統(tǒng)CDC ETL分析 ETL—基于Flink CDC 聚合分析 Flink CDC 數(shù)據(jù)寬表 Flink SQL如何集成CDC Flink CDC 作為數(shù)據(jù)采集層的優(yōu)勢 |
|
項目實戰(zhàn)RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana項目實戰(zhàn) RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana項目實戰(zhàn)： Docker演示環(huán)境介紹 Flink CDC mysql實戰(zhàn) Flink CDC postgres實戰(zhàn) Flink CDC Kafka實戰(zhàn) Flink CDC ES實現(xiàn) Kibana結果展示 RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana完整項目實戰(zhàn) |
|
Flink監(jiān)控和優(yōu)化 Flink Metric使用介紹 Flink RestAPI介紹和使用 Backpressure監(jiān)控與優(yōu)化 Checkpointing監(jiān)控與優(yōu)化 Flink內存管理和優(yōu)化 窗口和事件事件調試 HistoryServer服務介紹 |
近期公開課推薦
