課程簡介
本次課程圍繞著實(shí)時(shí)計(jì)算和湖倉一體的內(nèi)容進(jìn)行展開。主要涉及Flink(重點(diǎn)是Flink SQL)、流式數(shù)據(jù)湖Paimon的核心原理及使用，實(shí)時(shí)OLAP引擎Doris的使用、以及湖倉一體架構(gòu)的核心技術(shù)選型和整體架構(gòu)設(shè)計(jì)。在講解湖倉一體架構(gòu)之前會(huì)系統(tǒng)分析數(shù)據(jù)倉庫的發(fā)展歷程和架構(gòu)演進(jìn)過程，包括離線數(shù)據(jù)倉庫架構(gòu)、實(shí)時(shí)數(shù)據(jù)倉庫之Lambda架構(gòu)、實(shí)時(shí)數(shù)據(jù)倉庫之Kappa架構(gòu)(批流一體化)、最后到湖倉一體架構(gòu)。
通過對(duì)湖倉一體架構(gòu)系統(tǒng)的梳理，以及其中核心技術(shù)組件的講解，幫助學(xué)員快速掌握湖倉一體架構(gòu)的應(yīng)用。
目標(biāo)收益
掌握Flink SQL的核心原理及使用
掌握流式數(shù)據(jù)湖技術(shù)組件Paimon的原理及使用
掌握實(shí)時(shí)OLAP引擎Doris的原理及使用
掌握數(shù)據(jù)倉庫架構(gòu)的發(fā)展歷史
掌握數(shù)據(jù)倉庫(離線+實(shí)時(shí))的架構(gòu)設(shè)計(jì)
掌握湖倉一體架構(gòu)的設(shè)計(jì)和實(shí)現(xiàn)
培訓(xùn)對(duì)象
大數(shù)據(jù)崗位開發(fā)人員
數(shù)據(jù)分析崗位人員
課程大綱
|
第一天 (上午) 湖倉一體架構(gòu)的由來 |
1 數(shù)據(jù)倉庫的起源 2 數(shù)據(jù)倉庫的發(fā)展歷程 3 離線數(shù)據(jù)倉庫架構(gòu)設(shè)計(jì) 4 實(shí)時(shí)數(shù)據(jù)倉庫架構(gòu)設(shè)計(jì)(Lambda和Kappa） 5 湖倉一體架構(gòu)整體設(shè)計(jì) 6如何選擇數(shù)據(jù)倉庫建模方式和建模模型 7湖倉分層設(shè)計(jì)及命名規(guī)范 8湖倉數(shù)據(jù)清洗規(guī)則及注意事項(xiàng) |
|
第一天 (下午) Flink SQL的核心原理及使用 |
1 Flink的核心原理及架構(gòu)分析 3 Flink SQL快速理解(離線計(jì)算+實(shí)時(shí)計(jì)算) 4 Flink SQL解析引擎之Calcite分析 5 Flink SQL典型案例實(shí)戰(zhàn) 6 Flink SQL中的靜態(tài)表和動(dòng)態(tài)表 7 Flink SQL常見的數(shù)據(jù)類型 8 Flink SQL中的常規(guī)列和元數(shù)據(jù)列 9 Flink SQL滾動(dòng)窗口和滑動(dòng)窗口的使用 10 Flink SQL中Catalog的原理及使用 |
|
第二天 (上午) Paimon原理、架構(gòu)及使用 |
1 Paimon核心原理及架構(gòu) 2 基于Flink SQL操作Paimon 3 Paimon中的表類型詳解 4 Paimon中的主鍵表和僅追加表 5 Changelog Producers原理及案例實(shí)戰(zhàn) 6 Merge Engines原理及案例實(shí)戰(zhàn) 7 Paimon中的Catalog和Table詳解 8 Paimon之CDC數(shù)據(jù)攝取 9 Paimon集成Hive引擎(Hive Metastore Catalog) 10 Paimon底層存儲(chǔ)文件深入剖析 |
|
第二天(下午) Doris原理、架構(gòu)及使用 |
1 Doris的前世今生 2 Doris原理及架構(gòu)分析 3 Doris中的數(shù)據(jù)類型 4 Doris中數(shù)據(jù)庫和表的操作 5 Doris中外部表的定義和使用 6 Doris數(shù)據(jù)模型詳解 7 Doris的數(shù)據(jù)導(dǎo)入功能 8 Flink Doris Connect的使用 |
| 湖倉一體架構(gòu)的構(gòu)建 | 案例分析：實(shí)時(shí)數(shù)據(jù)倉庫(湖倉一體)技術(shù)選項(xiàng)及架構(gòu)設(shè)計(jì) |
|
第一天 (上午) 湖倉一體架構(gòu)的由來 1 數(shù)據(jù)倉庫的起源 2 數(shù)據(jù)倉庫的發(fā)展歷程 3 離線數(shù)據(jù)倉庫架構(gòu)設(shè)計(jì) 4 實(shí)時(shí)數(shù)據(jù)倉庫架構(gòu)設(shè)計(jì)(Lambda和Kappa） 5 湖倉一體架構(gòu)整體設(shè)計(jì) 6如何選擇數(shù)據(jù)倉庫建模方式和建模模型 7湖倉分層設(shè)計(jì)及命名規(guī)范 8湖倉數(shù)據(jù)清洗規(guī)則及注意事項(xiàng) |
|
第一天 (下午) Flink SQL的核心原理及使用 1 Flink的核心原理及架構(gòu)分析 3 Flink SQL快速理解(離線計(jì)算+實(shí)時(shí)計(jì)算) 4 Flink SQL解析引擎之Calcite分析 5 Flink SQL典型案例實(shí)戰(zhàn) 6 Flink SQL中的靜態(tài)表和動(dòng)態(tài)表 7 Flink SQL常見的數(shù)據(jù)類型 8 Flink SQL中的常規(guī)列和元數(shù)據(jù)列 9 Flink SQL滾動(dòng)窗口和滑動(dòng)窗口的使用 10 Flink SQL中Catalog的原理及使用 |
|
第二天 (上午) Paimon原理、架構(gòu)及使用 1 Paimon核心原理及架構(gòu) 2 基于Flink SQL操作Paimon 3 Paimon中的表類型詳解 4 Paimon中的主鍵表和僅追加表 5 Changelog Producers原理及案例實(shí)戰(zhàn) 6 Merge Engines原理及案例實(shí)戰(zhàn) 7 Paimon中的Catalog和Table詳解 8 Paimon之CDC數(shù)據(jù)攝取 9 Paimon集成Hive引擎(Hive Metastore Catalog) 10 Paimon底層存儲(chǔ)文件深入剖析 |
|
第二天(下午) Doris原理、架構(gòu)及使用 1 Doris的前世今生 2 Doris原理及架構(gòu)分析 3 Doris中的數(shù)據(jù)類型 4 Doris中數(shù)據(jù)庫和表的操作 5 Doris中外部表的定義和使用 6 Doris數(shù)據(jù)模型詳解 7 Doris的數(shù)據(jù)導(dǎo)入功能 8 Flink Doris Connect的使用 |
|
湖倉一體架構(gòu)的構(gòu)建 案例分析：實(shí)時(shí)數(shù)據(jù)倉庫(湖倉一體)技術(shù)選項(xiàng)及架構(gòu)設(shè)計(jì) |
近期公開課推薦
