課程簡介

案例背景:
1.傳統(tǒng)大數(shù)據(jù)離線按天調(diào)度，如何通過增量生產(chǎn)解決數(shù)據(jù)高效產(chǎn)出
2.超大規(guī)模的數(shù)據(jù)upsert更新落地
3.傳統(tǒng)數(shù)倉到湖倉一體的平滑過渡機制

解決思路:
flink，iceberg，hudi
1、數(shù)據(jù)ETL的痛點
2、基于數(shù)據(jù)湖的增量ETL
3、增量Append及Upsert的實現(xiàn)
4、未來展望

成果：
引入數(shù)據(jù)湖，打造湖倉一體，落地數(shù)據(jù)從ods到dw層的湖化，包括append以及upsert類型數(shù)據(jù)

目標收益

1.了解數(shù)據(jù)湖在數(shù)倉體系的一些落地應(yīng)用場景
2.了解如何基于Flink結(jié)合Iceberg/Hudi構(gòu)建一套通用的ETL增量管道
3.了解數(shù)據(jù)在萬億規(guī)模下如何打造高性能和高可用的綜合型ETL管道化服務(wù)

培訓對象

課程內(nèi)容

案例方向

---

數(shù)據(jù)湖/數(shù)據(jù)中臺/用戶畫像/NLP

案例背景

---

1.傳統(tǒng)大數(shù)據(jù)離線按天調(diào)度，如何通過增量生產(chǎn)解決數(shù)據(jù)高效產(chǎn)出
2.超大規(guī)模的數(shù)據(jù)upsert更新落地
3.傳統(tǒng)數(shù)倉到湖倉一體的平滑過渡機制

收益

---

1.了解數(shù)據(jù)湖在數(shù)倉體系的一些落地應(yīng)用場景
2.了解如何基于Flink結(jié)合Iceberg/Hudi構(gòu)建一套通用的ETL增量管道
3.了解數(shù)據(jù)在萬億規(guī)模下如何打造高性能和高可用的綜合型ETL管道化服務(wù)

解決思路

---

flink，iceberg，hudi
1、數(shù)據(jù)ETL的痛點
2、基于數(shù)據(jù)湖的增量ETL
3、增量Append及Upsert的實現(xiàn)
4、未來展望

結(jié)果

---

引入數(shù)據(jù)湖，打造湖倉一體，落地數(shù)據(jù)從ods到dw層的湖化，包括append以及upsert類型數(shù)據(jù)