課程簡介
1.掌握基于大數(shù)據(jù)平臺核心組件（HDFS、Yarn、Hive、Hbase、Spark和Flink等）的搭建、使用、運維
2.掌握大數(shù)據(jù)使用場景和性能優(yōu)化
3.能夠掌握700+節(jié)點集群的運維和優(yōu)化
4.掌握大數(shù)據(jù)平臺性能優(yōu)化的思路，同時能夠對Spark、Flink和Hive組件進行性能優(yōu)化
5.能夠對大數(shù)據(jù)平臺組件出現(xiàn)的問題進行有條不紊的分析和解決
目標收益
培訓對象
1.大數(shù)據(jù)開發(fā)工程師
2.大數(shù)據(jù)架構師
3.大數(shù)據(jù)運維工程師
4.對大數(shù)據(jù)開發(fā)感興趣的一線開發(fā)人員
課程大綱
|
Day1 大數(shù)據(jù)集群搭建實戰(zhàn)（1小時） |
?Master節(jié)點角色部署實戰(zhàn) ?Slave節(jié)點角色部署實戰(zhàn) ?工具節(jié)點角色部署實戰(zhàn) ?Edge節(jié)點角色部署實戰(zhàn) ?不同角色節(jié)點配置建議（內存、磁盤和CPU） ?不同服務磁盤使用規(guī)劃實戰(zhàn)（DN、NN、JN和ZK等） ?小于100節(jié)點大數(shù)據(jù)集群角色部署實戰(zhàn) ?100-200節(jié)點大數(shù)據(jù)集群角色部署實戰(zhàn) ?大于300節(jié)點大數(shù)據(jù)集群角色部署實戰(zhàn) ?Hive服務HMS和HS2高可用和loadbalance部署實戰(zhàn) 大數(shù)據(jù)平臺權限認證和授權解決方案（LDAP+SSSD+Kerberos+Ranger） |
|
Day1 HDFS原理介紹（1小時） |
?HDFS架構介紹 ?HDFS運行原理介紹 ?NameNode功能詳解 ?DataNode功能詳 ?HDFS HA功能詳解 ?HSFD的fsimage和editslog詳解 ?HDFS的block詳解 HDFS的block的備份策略 |
|
Day1 HDFS運維和優(yōu)化（3小時） |
?機架感知對性能的提升 ?HDFS+Ranger權限控制運維 ?Small Files and Java Heap Tuning ?HDFS集群通過文件書和block數(shù)來估算NN的內存使用和性能瓶頸 ?元數(shù)據(jù)FSImage和Edit文件的工作原理和合并機制解析 ?NN RPC processing is too long ?生產(chǎn)環(huán)境NN active 和 Standby切換失敗，導致集群癱瘓 ?DN日志出現(xiàn)大量"Slow.*?(took|cost)"問題診斷 ?Namenode checkpoint status again ?Disk Slowness問題排查 ?Slow LDAP通過日志觀察常見的現(xiàn)象 ?HDFS服務最佳實踐 — number of DataNodes, — Amount of data, — number of blocks & files, — number of snapshots, — number of RPCs per second, Other limits |
|
Day1 Yarn運維和優(yōu)化（2小時） |
?Yarn架構和原理 ?ResourceManager工作原理 ?NodeManager工作原理 ?ApplicationMaster工作原理 ?Yarn的資源控制機制 ?Yarn資源封裝Container介紹 ?Yarn資源都租戶配置和實戰(zhàn) ?Yarn replacement rules權限配置和實操 ?Yarn 隊列+Ranger控制詳解和實操 ?Yarn Container資源最大最小設置 ?Yarn Queue核心參數(shù)解釋和優(yōu)化，提升資源使用效率 ?MapReduce配置參數(shù)設置和優(yōu)化 ?Yarn任務調度策略CS和FA深度比較 Yarn核心參數(shù)解釋和優(yōu)化實戰(zhàn) |
|
Day1 大數(shù)據(jù)集群搭建實戰(zhàn)（1小時） ?Master節(jié)點角色部署實戰(zhàn) ?Slave節(jié)點角色部署實戰(zhàn) ?工具節(jié)點角色部署實戰(zhàn) ?Edge節(jié)點角色部署實戰(zhàn) ?不同角色節(jié)點配置建議（內存、磁盤和CPU） ?不同服務磁盤使用規(guī)劃實戰(zhàn)（DN、NN、JN和ZK等） ?小于100節(jié)點大數(shù)據(jù)集群角色部署實戰(zhàn) ?100-200節(jié)點大數(shù)據(jù)集群角色部署實戰(zhàn) ?大于300節(jié)點大數(shù)據(jù)集群角色部署實戰(zhàn) ?Hive服務HMS和HS2高可用和loadbalance部署實戰(zhàn) 大數(shù)據(jù)平臺權限認證和授權解決方案（LDAP+SSSD+Kerberos+Ranger） |
|
Day1 HDFS原理介紹（1小時） ?HDFS架構介紹 ?HDFS運行原理介紹 ?NameNode功能詳解 ?DataNode功能詳 ?HDFS HA功能詳解 ?HSFD的fsimage和editslog詳解 ?HDFS的block詳解 HDFS的block的備份策略 |
|
Day1 HDFS運維和優(yōu)化（3小時） ?機架感知對性能的提升 ?HDFS+Ranger權限控制運維 ?Small Files and Java Heap Tuning ?HDFS集群通過文件書和block數(shù)來估算NN的內存使用和性能瓶頸 ?元數(shù)據(jù)FSImage和Edit文件的工作原理和合并機制解析 ?NN RPC processing is too long ?生產(chǎn)環(huán)境NN active 和 Standby切換失敗，導致集群癱瘓 ?DN日志出現(xiàn)大量"Slow.*?(took|cost)"問題診斷 ?Namenode checkpoint status again ?Disk Slowness問題排查 ?Slow LDAP通過日志觀察常見的現(xiàn)象 ?HDFS服務最佳實踐 — number of DataNodes, — Amount of data, — number of blocks & files, — number of snapshots, — number of RPCs per second, Other limits |
|
Day1 Yarn運維和優(yōu)化（2小時） ?Yarn架構和原理 ?ResourceManager工作原理 ?NodeManager工作原理 ?ApplicationMaster工作原理 ?Yarn的資源控制機制 ?Yarn資源封裝Container介紹 ?Yarn資源都租戶配置和實戰(zhàn) ?Yarn replacement rules權限配置和實操 ?Yarn 隊列+Ranger控制詳解和實操 ?Yarn Container資源最大最小設置 ?Yarn Queue核心參數(shù)解釋和優(yōu)化，提升資源使用效率 ?MapReduce配置參數(shù)設置和優(yōu)化 ?Yarn任務調度策略CS和FA深度比較 Yarn核心參數(shù)解釋和優(yōu)化實戰(zhàn) |
近期公開課推薦
