課程簡(jiǎn)介
案例背景:
在業(yè)務(wù)規(guī)模不斷壯大,數(shù)據(jù)不斷膨脹的背景下,數(shù)據(jù)的使用及管理成本成為越來越多企業(yè)發(fā)展過程當(dāng)中的痛點(diǎn)問題。如何降本增效,達(dá)到壓縮成本和迅速轉(zhuǎn)換數(shù)據(jù)價(jià)值的雙贏結(jié)果是當(dāng)前的熱議話題。Flink 作為支持批流一體的計(jì)算引擎,被越來越多企業(yè)選擇為流批一體解決方案中的重要一環(huán)。
解決思路:
1. 使用 Flink 作為流批一體統(tǒng)一引擎,實(shí)現(xiàn)數(shù)據(jù)同源、計(jì)算同源和結(jié)果一致;
2. 基于 Iceberg 和字節(jié)自研存儲(chǔ)引擎 CloudFS 的存儲(chǔ)解決方案,解決流批一體中統(tǒng)一數(shù)據(jù)存儲(chǔ)的問題。
成果:
1. 字節(jié)跳動(dòng)流批一體解決方案在推薦系統(tǒng)特征平臺(tái)的實(shí)踐,助力今日頭條、抖音等產(chǎn)品更精準(zhǔn)地服務(wù)用戶;
2. 依托于字節(jié)跳動(dòng)在業(yè)內(nèi)最大規(guī)模實(shí)時(shí)計(jì)算集群實(shí)踐,開箱即用企業(yè)級(jí)云原生流批一體大數(shù)據(jù)平臺(tái),提供 Serverless 極致彈性。
目標(biāo)收益
1. 了解 Flink 流批一體在字節(jié)跳動(dòng)的探索與實(shí)踐;
2. 了解字節(jié)跳動(dòng)基于 Iceberg 的數(shù)據(jù)存儲(chǔ)的探索;
3. 字節(jié)跳動(dòng)云原生計(jì)算流批一體解決方案。
培訓(xùn)對(duì)象
課程內(nèi)容
案例方向
AI基礎(chǔ)設(shè)施/互聯(lián)網(wǎng)AI前沿/湖倉一體/數(shù)據(jù)智能平臺(tái)演進(jìn)
案例背景
在業(yè)務(wù)規(guī)模不斷壯大,數(shù)據(jù)不斷膨脹的背景下,數(shù)據(jù)的使用及管理成本成為越來越多企業(yè)發(fā)展過程當(dāng)中的痛點(diǎn)問題。如何降本增效,達(dá)到壓縮成本和迅速轉(zhuǎn)換數(shù)據(jù)價(jià)值的雙贏結(jié)果是當(dāng)前的熱議話題。Flink 作為支持批流一體的計(jì)算引擎,被越來越多企業(yè)選擇為流批一體解決方案中的重要一環(huán)。
收益
1. 了解 Flink 流批一體在字節(jié)跳動(dòng)的探索與實(shí)踐;
2. 了解字節(jié)跳動(dòng)基于 Iceberg 的數(shù)據(jù)存儲(chǔ)的探索;
3. 字節(jié)跳動(dòng)云原生計(jì)算流批一體解決方案。
解決思路
1. 使用 Flink 作為流批一體統(tǒng)一引擎,實(shí)現(xiàn)數(shù)據(jù)同源、計(jì)算同源和結(jié)果一致;
2. 基于 Iceberg 和字節(jié)自研存儲(chǔ)引擎 CloudFS 的存儲(chǔ)解決方案,解決流批一體中統(tǒng)一數(shù)據(jù)存儲(chǔ)的問題。
結(jié)果
1. 字節(jié)跳動(dòng)流批一體解決方案在推薦系統(tǒng)特征平臺(tái)的實(shí)踐,助力今日頭條、抖音等產(chǎn)品更精準(zhǔn)地服務(wù)用戶;
2. 依托于字節(jié)跳動(dòng)在業(yè)內(nèi)最大規(guī)模實(shí)時(shí)計(jì)算集群實(shí)踐,開箱即用企業(yè)級(jí)云原生流批一體大數(shù)據(jù)平臺(tái),提供 Serverless 極致彈性。