數(shù)據(jù)湖的探索與落地實踐

案例背景:
1.傳統(tǒng)大數(shù)據(jù)離線按天調(diào)度，如何通過增量生產(chǎn)解決數(shù)據(jù)高效產(chǎn)出
2.超大規(guī)模的數(shù)據(jù)upsert更新落地
3.傳統(tǒng)數(shù)倉到湖倉一體的平滑過渡機制

解決思路:
flink，iceberg，hudi
1、數(shù)據(jù)ETL的痛點
2、基于數(shù)據(jù)湖的增量ETL
3、增量Append及Upsert的實現(xiàn)
4、未來展望

成果：
引入數(shù)據(jù)湖，打造湖倉一體，落地數(shù)據(jù)從ods到dw層的湖化，包括append以及upsert類型數(shù)據(jù)