課程簡介
案例背景:
在業(yè)務(wù)規(guī)模不斷壯大,數(shù)據(jù)不斷膨脹的背景下,數(shù)據(jù)的使用及管理成本成為越來越多企業(yè)發(fā)展過程當(dāng)中的痛點問題。如何降本增效,達(dá)到壓縮成本和迅速轉(zhuǎn)換數(shù)據(jù)價值的雙贏結(jié)果是當(dāng)前的熱議話題。Flink 作為支持批流一體的計算引擎,被越來越多企業(yè)選擇為流批一體解決方案中的重要一環(huán)。
解決思路:
1. 使用 Flink 作為流批一體統(tǒng)一引擎,實現(xiàn)數(shù)據(jù)同源、計算同源和結(jié)果一致;
2. 基于 Iceberg 和字節(jié)自研存儲引擎 CloudFS 的存儲解決方案,解決流批一體中統(tǒng)一數(shù)據(jù)存儲的問題。
成果:
1. 字節(jié)跳動流批一體解決方案在推薦系統(tǒng)特征平臺的實踐,助力今日頭條、抖音等產(chǎn)品更精準(zhǔn)地服務(wù)用戶;
2. 依托于字節(jié)跳動在業(yè)內(nèi)最大規(guī)模實時計算集群實踐,開箱即用企業(yè)級云原生流批一體大數(shù)據(jù)平臺,提供 Serverless 極致彈性。
目標(biāo)收益
1. 了解 Flink 流批一體在字節(jié)跳動的探索與實踐;
2. 了解字節(jié)跳動基于 Iceberg 的數(shù)據(jù)存儲的探索;
3. 字節(jié)跳動云原生計算流批一體解決方案。
培訓(xùn)對象
課程內(nèi)容
案例方向
AI基礎(chǔ)設(shè)施/互聯(lián)網(wǎng)AI前沿/湖倉一體/數(shù)據(jù)智能平臺演進(jìn)
案例背景
在業(yè)務(wù)規(guī)模不斷壯大,數(shù)據(jù)不斷膨脹的背景下,數(shù)據(jù)的使用及管理成本成為越來越多企業(yè)發(fā)展過程當(dāng)中的痛點問題。如何降本增效,達(dá)到壓縮成本和迅速轉(zhuǎn)換數(shù)據(jù)價值的雙贏結(jié)果是當(dāng)前的熱議話題。Flink 作為支持批流一體的計算引擎,被越來越多企業(yè)選擇為流批一體解決方案中的重要一環(huán)。
收益
1. 了解 Flink 流批一體在字節(jié)跳動的探索與實踐;
2. 了解字節(jié)跳動基于 Iceberg 的數(shù)據(jù)存儲的探索;
3. 字節(jié)跳動云原生計算流批一體解決方案。
解決思路
1. 使用 Flink 作為流批一體統(tǒng)一引擎,實現(xiàn)數(shù)據(jù)同源、計算同源和結(jié)果一致;
2. 基于 Iceberg 和字節(jié)自研存儲引擎 CloudFS 的存儲解決方案,解決流批一體中統(tǒng)一數(shù)據(jù)存儲的問題。
結(jié)果
1. 字節(jié)跳動流批一體解決方案在推薦系統(tǒng)特征平臺的實踐,助力今日頭條、抖音等產(chǎn)品更精準(zhǔn)地服務(wù)用戶;
2. 依托于字節(jié)跳動在業(yè)內(nèi)最大規(guī)模實時計算集群實踐,開箱即用企業(yè)級云原生流批一體大數(shù)據(jù)平臺,提供 Serverless 極致彈性。