Flink 流批一體在字節(jié)跳動的探索與實(shí)踐

案例背景:
在業(yè)務(wù)規(guī)模不斷壯大，數(shù)據(jù)不斷膨脹的背景下，數(shù)據(jù)的使用及管理成本成為越來越多企業(yè)發(fā)展過程當(dāng)中的痛點(diǎn)問題。如何降本增效，達(dá)到壓縮成本和迅速轉(zhuǎn)換數(shù)據(jù)價值的雙贏結(jié)果是當(dāng)前的熱議話題。Flink 作為支持批流一體的計(jì)算引擎，被越來越多企業(yè)選擇為流批一體解決方案中的重要一環(huán)。

解決思路:
1. 使用 Flink 作為流批一體統(tǒng)一引擎，實(shí)現(xiàn)數(shù)據(jù)同源、計(jì)算同源和結(jié)果一致；
2. 基于 Iceberg 和字節(jié)自研存儲引擎 CloudFS 的存儲解決方案，解決流批一體中統(tǒng)一數(shù)據(jù)存儲的問題。

成果：
1. 字節(jié)跳動流批一體解決方案在推薦系統(tǒng)特征平臺的實(shí)踐，助力今日頭條、抖音等產(chǎn)品更精準(zhǔn)地服務(wù)用戶；
2. 依托于字節(jié)跳動在業(yè)內(nèi)最大規(guī)模實(shí)時計(jì)算集群實(shí)踐，開箱即用企業(yè)級云原生流批一體大數(shù)據(jù)平臺，提供 Serverless 極致彈性。