課程簡介
大數(shù)據(jù)平臺架構(gòu)及地理信息應(yīng)用
目標(biāo)收益
了解大數(shù)據(jù)平臺的技術(shù)背景、基本知識、常識及術(shù)語。
學(xué)員通過學(xué)習(xí)本課程，能夠熟悉大數(shù)據(jù)行業(yè)和分布式系統(tǒng)的技術(shù)核心知識點(diǎn)；
通過Hadoop、Hive、Spark、HBase知識的學(xué)習(xí)，能夠掌握大數(shù)據(jù)應(yīng)用的開發(fā)和運(yùn)維能力，
并能夠掌握海量數(shù)據(jù)處 理的編碼和性能調(diào)優(yōu)經(jīng)驗(yàn)。
熟悉中國互聯(lián)網(wǎng)公司（如阿里巴巴、騰訊）的大數(shù)據(jù)平臺中各組件的技術(shù)應(yīng)用和最佳實(shí)踐。
了解大數(shù)據(jù)平臺在互聯(lián)網(wǎng)業(yè)務(wù)及地理信息系統(tǒng)的應(yīng)用。
培訓(xùn)對象
擁有一定研發(fā)經(jīng)驗(yàn)，希望行業(yè)前研經(jīng)驗(yàn)和應(yīng)用有所了解的學(xué)員。
所有對《大數(shù)據(jù)平臺及地理信息應(yīng)用》感興趣的學(xué)員。
課程內(nèi)容
從基礎(chǔ)到深入，并結(jié)合真實(shí)案例和客戶自己的問題，結(jié)合實(shí)踐環(huán)節(jié)，全程干貨。
課程大綱
| 大數(shù)據(jù)平臺的發(fā)展歷程 |
數(shù)據(jù)到大數(shù)據(jù)發(fā)展歷程 1．集中式數(shù)據(jù)系統(tǒng)到大數(shù)據(jù)平臺 2．阿里大數(shù)據(jù)平臺的發(fā)展歷程 |
| 大數(shù)據(jù)平臺的基本原理 |
1、分布式系統(tǒng)基本原理 什么是分布式系統(tǒng)？ CAP定理 2、分布式大數(shù)據(jù)基本構(gòu)成 計(jì)算系統(tǒng) 文件存儲系統(tǒng) 結(jié)構(gòu)化存儲引擎 有向無環(huán)圖系統(tǒng) 上層查詢引擎 3、適用場景 離線計(jì)算平臺及業(yè)務(wù) 實(shí)時(shí)計(jì)算平臺及業(yè)務(wù) |
| 大數(shù)據(jù)平臺的架構(gòu)類型 |
開源的架構(gòu)及組成 1． Hadoop分布式文件系統(tǒng)HDFS，Hadoop Distributed File System組件及原理 (1) Namenode主結(jié)點(diǎn)Master結(jié)點(diǎn) (2) Datanode從結(jié)點(diǎn)Slave結(jié)點(diǎn) 2． Hadoop分布式調(diào)度系統(tǒng)Yarn，Yet Another Resource Negotiator (1) Resource Manager 主結(jié)點(diǎn)Master結(jié)點(diǎn) (2) Node Manager 從結(jié)點(diǎn)Slave結(jié)點(diǎn) (3) Application Master 應(yīng)用可擴(kuò)展主結(jié)點(diǎn) 3． 計(jì)算引擎 (1) MapReduce (2) Hive (3) Spark (4) Flink 4． 調(diào)度引擎 (1) AirFlow (2) Oozie |
| 商業(yè)公司的架構(gòu)及組成，以阿里飛天為例 |
飛天分布式文件系統(tǒng)盤古 1． 分布式文件系統(tǒng)Pangu Master主結(jié)點(diǎn) 2． 分布式文件系統(tǒng)從結(jié)點(diǎn)Chunk Server Slave從結(jié)點(diǎn) 飛天分布式計(jì)算平臺伏羲 1． 伏羲Master 2． 伏羲Slave 基于飛天的生態(tài)系統(tǒng) 1． 天網(wǎng)、在云端、數(shù)據(jù)地圖等 |
| 地理信息應(yīng)用舉例 |
1． 華為應(yīng)用案例 華為地理信息云舉例 2． Oracle應(yīng)用案例 Spatial、云端戰(zhàn)略等 3． 高德應(yīng)用舉例 數(shù)據(jù)結(jié)構(gòu)、架構(gòu)、離線應(yīng)用、在線應(yīng)用 4． 餓了么應(yīng)用舉例 數(shù)據(jù)結(jié)構(gòu)、架構(gòu)、離線應(yīng)用、在線應(yīng)用 5． 淘寶應(yīng)用舉例 數(shù)據(jù)結(jié)構(gòu)、架構(gòu)、離線應(yīng)用、在線應(yīng)用 |
|
大數(shù)據(jù)平臺的發(fā)展歷程 數(shù)據(jù)到大數(shù)據(jù)發(fā)展歷程 1．集中式數(shù)據(jù)系統(tǒng)到大數(shù)據(jù)平臺 2．阿里大數(shù)據(jù)平臺的發(fā)展歷程 |
|
大數(shù)據(jù)平臺的基本原理 1、分布式系統(tǒng)基本原理 什么是分布式系統(tǒng)？ CAP定理 2、分布式大數(shù)據(jù)基本構(gòu)成 計(jì)算系統(tǒng) 文件存儲系統(tǒng) 結(jié)構(gòu)化存儲引擎 有向無環(huán)圖系統(tǒng) 上層查詢引擎 3、適用場景 離線計(jì)算平臺及業(yè)務(wù) 實(shí)時(shí)計(jì)算平臺及業(yè)務(wù) |
|
大數(shù)據(jù)平臺的架構(gòu)類型 開源的架構(gòu)及組成 1． Hadoop分布式文件系統(tǒng)HDFS，Hadoop Distributed File System組件及原理 (1) Namenode主結(jié)點(diǎn)Master結(jié)點(diǎn) (2) Datanode從結(jié)點(diǎn)Slave結(jié)點(diǎn) 2． Hadoop分布式調(diào)度系統(tǒng)Yarn，Yet Another Resource Negotiator (1) Resource Manager 主結(jié)點(diǎn)Master結(jié)點(diǎn) (2) Node Manager 從結(jié)點(diǎn)Slave結(jié)點(diǎn) (3) Application Master 應(yīng)用可擴(kuò)展主結(jié)點(diǎn) 3． 計(jì)算引擎 (1) MapReduce (2) Hive (3) Spark (4) Flink 4． 調(diào)度引擎 (1) AirFlow (2) Oozie |
|
商業(yè)公司的架構(gòu)及組成，以阿里飛天為例 飛天分布式文件系統(tǒng)盤古 1． 分布式文件系統(tǒng)Pangu Master主結(jié)點(diǎn) 2． 分布式文件系統(tǒng)從結(jié)點(diǎn)Chunk Server Slave從結(jié)點(diǎn) 飛天分布式計(jì)算平臺伏羲 1． 伏羲Master 2． 伏羲Slave 基于飛天的生態(tài)系統(tǒng) 1． 天網(wǎng)、在云端、數(shù)據(jù)地圖等 |
|
地理信息應(yīng)用舉例 1． 華為應(yīng)用案例 華為地理信息云舉例 2． Oracle應(yīng)用案例 Spatial、云端戰(zhàn)略等 3． 高德應(yīng)用舉例 數(shù)據(jù)結(jié)構(gòu)、架構(gòu)、離線應(yīng)用、在線應(yīng)用 4． 餓了么應(yīng)用舉例 數(shù)據(jù)結(jié)構(gòu)、架構(gòu)、離線應(yīng)用、在線應(yīng)用 5． 淘寶應(yīng)用舉例 數(shù)據(jù)結(jié)構(gòu)、架構(gòu)、離線應(yīng)用、在線應(yīng)用 |
近期公開課推薦
