架構師
互聯網
電商
支付平臺
傳統(tǒng)金融
互聯網金融
可穿戴設備
醫(yī)療
智能家居
物聯網
車聯網
安全
制造
電信
政府機構
稅務
快消品
其他
大數據
推薦課程
average > 0 ? $model->average . '分' : '10.0分' ?>

大數據平臺數據湖和數據治理

劉老師

某知名咨詢公司 云平臺系統(tǒng)架構師

畢業(yè)于?連理??學
簡介:
精通開源的?數據?態(tài)技術和架構，Hadoop、Hive、Hbase、 Spark、Flink等開源技術棧。
有10年左右基于?數據解決?案平臺、數據架構、數據中臺、數據治理、數據分析和挖掘的?型數據湖和數
據中臺項?架構實施經驗,
?前任職國內知名咨詢公司，先后服務于北京?學軟件研究所、阿?巴巴、Teradata,實施過基于開源?數據技術
棧的數據湖解決?案和實施、湖倉?體架構咨詢和實施、數據中臺的咨詢和設施
最近主要項?介紹:
某移動?數據平臺架構設計和設施 (Hadoop、Spark)
四??之?的數據湖咨詢和實施
某?型商業(yè)銀?數據中臺咨詢
某銀?基于開源?數據技術棧數據中臺的咨詢和實施
某航空公司數據平臺流批?體解決?案和實施
特長:
在?數據架構、開發(fā)、運維和優(yōu)化、數據集成、 數據湖(Data Lake)、數據建模、數據挖掘/機器學習、數據
中臺等??有豐富經 驗。

畢業(yè)于?連理??學 簡介: 精通開源的?數據?態(tài)技術和架構，Hadoop、Hive、Hbase、 Spark、Flink等開源技術棧。 有10年左右基于?數據解決?案平臺、數據架構、數據中臺、數據治理、數據分析和挖掘的?型數據湖和數 據中臺項?架構實施經驗, ?前任職國內知名咨詢公司，先后服務于北京?學軟件研究所、阿?巴巴、Teradata,實施過基于開源?數據技術 棧的數據湖解決?案和實施、湖倉?體架構咨詢和實施、數據中臺的咨詢和設施 最近主要項?介紹: 某移動?數據平臺架構設計和設施 (Hadoop、Spark) 四??之?的數據湖咨詢和實施 某?型商業(yè)銀?數據中臺咨詢 某銀?基于開源?數據技術棧數據中臺的咨詢和實施 某航空公司數據平臺流批?體解決?案和實施 特長: 在?數據架構、開發(fā)、運維和優(yōu)化、數據集成、 數據湖(Data Lake)、數據建模、數據挖掘/機器學習、數據 中臺等??有豐富經 驗。

課程費用

6800.00 /人

課程時長

2天

成為教練

課程簡介

大數據平臺數據湖和數據治理

目標收益

通過此次課程培訓，可使學習者獲得如下收益：

1. 了解數據治理的體系架構
2. 理解數據架構設計與數據治理的基本知識；
2. 掌握數據建模方法，范式建模和維度建模
3. 理解數據標準化、數據質量和元數據等如何建設，和建設中注意的問題
4. 數據治理落地的難點和經驗分享
5. XXX銀行數據治理真實案例深度分享

培訓對象

1、數據開發(fā)工程師
2、業(yè)務人員
3、架構師
4、項目經理
5、對數據治理趕興趣的同學

課程大綱

數據治理范圍 ?大數據平臺數據建設中存在的問題
?數據治理面臨的挑戰(zhàn)
?數據的多元化
?數據的復雜性
?數據的完整性
?數據生命周期管理
?統(tǒng)一元數據管理
?數據集成方法
?數據安全
?數據湖架構
?基于大數據平臺的數據建模
?RMDBS數據的增量實時同步采集
數據質量管理 ?數據質量管理的范圍
?數據質量評估的維度
?數據質量的維護管理
?數據質量的改進管理
?數據質量管理模型
?數據質量管理的監(jiān)控
?案例演示
元數據管理 ?元數據概念
?Hadoop平臺元數據處理面臨的問題
?元數據注冊機制
?元數據的統(tǒng)一管理
?元數據一致性管理
?數據字典的概念
?元數據的添加和需改管理
?基于Hadoop平臺元數據處理方案
數據生命周期管理 ?數據質量
?數據標準
?數據生命周期管理的重要性
?數據生命周期的概念
?開源Falcon解決那些問題
?Falcon架構和原理
?Falcon實戰(zhàn)
?Falcon+HDFS、Hive實戰(zhàn)
?Falcon+Oozie實戰(zhàn)
數據湖 ?數據湖定義
?數據湖里面數據存儲格式
?數據湖實現的步驟
?HDFS、Hive等實現數據湖
?數據湖分區(qū)(LCRD)
?LCRD詳解
?某大型銀行基于Hadoop的數據湖實戰(zhàn)解析
測試數據環(huán)境的搭建 ?測試數據的準備
?測試數據的脫敏機制
?數據脫敏的方法
?數據關聯的脫敏機制
?測試環(huán)境搭建的要求
?測試環(huán)境性能的評估原則
數據倉庫的敏捷開發(fā) ?敏捷開發(fā)的含義
?敏捷數據倉庫的定義
?為什么需要敏捷數據倉庫
?敏捷數據倉庫和傳統(tǒng)數據倉庫的區(qū)別
?敏捷數據倉庫實現的模型
?在Hadoop上面實現敏捷數據倉庫的思路
案例分析 ?Hadoop之上數據倉庫案例解析
?數據湖案例解析和演示
數據治理范圍
?大數據平臺數據建設中存在的問題
?數據治理面臨的挑戰(zhàn)
?數據的多元化
?數據的復雜性
?數據的完整性
?數據生命周期管理
?統(tǒng)一元數據管理
?數據集成方法
?數據安全
?數據湖架構
?基于大數據平臺的數據建模
?RMDBS數據的增量實時同步采集
數據質量管理
?數據質量管理的范圍
?數據質量評估的維度
?數據質量的維護管理
?數據質量的改進管理
?數據質量管理模型
?數據質量管理的監(jiān)控
?案例演示
元數據管理
?元數據概念
?Hadoop平臺元數據處理面臨的問題
?元數據注冊機制
?元數據的統(tǒng)一管理
?元數據一致性管理
?數據字典的概念
?元數據的添加和需改管理
?基于Hadoop平臺元數據處理方案
數據生命周期管理
?數據質量
?數據標準
?數據生命周期管理的重要性
?數據生命周期的概念
?開源Falcon解決那些問題
?Falcon架構和原理
?Falcon實戰(zhàn)
?Falcon+HDFS、Hive實戰(zhàn)
?Falcon+Oozie實戰(zhàn)
數據湖
?數據湖定義
?數據湖里面數據存儲格式
?數據湖實現的步驟
?HDFS、Hive等實現數據湖
?數據湖分區(qū)(LCRD)
?LCRD詳解
?某大型銀行基于Hadoop的數據湖實戰(zhàn)解析
測試數據環(huán)境的搭建
?測試數據的準備
?測試數據的脫敏機制
?數據脫敏的方法
?數據關聯的脫敏機制
?測試環(huán)境搭建的要求
?測試環(huán)境性能的評估原則
數據倉庫的敏捷開發(fā)
?敏捷開發(fā)的含義
?敏捷數據倉庫的定義
?為什么需要敏捷數據倉庫
?敏捷數據倉庫和傳統(tǒng)數據倉庫的區(qū)別
?敏捷數據倉庫實現的模型
?在Hadoop上面實現敏捷數據倉庫的思路
案例分析
?Hadoop之上數據倉庫案例解析
?數據湖案例解析和演示

活動詳情

提交需求