架構(gòu)師
傳統(tǒng)金融
互聯(lián)網(wǎng)金融
推薦課程
average > 0 ? $model->average . '分' : '10.0分' ?>

大數(shù)據(jù)（Hadoop、Spark、NoSQL等）的技術(shù)與實踐

何逸凡

北京大學 架構(gòu)師

北京大學博士后，第一屆中國軟件業(yè)十大杰出青年候選人。
專著《不是三維——軟件項目的設(shè)計、開發(fā)與管理》與《消息設(shè)計與開發(fā)：分布式應(yīng)用開發(fā)的核心技術(shù)》作者。
云計算數(shù)據(jù)基礎(chǔ)設(shè)施倡導者與研究者，第十六屆世界計算機大會電子商務(wù)大會數(shù)據(jù)管理分會主席，中國青年科技工作者協(xié)會第二屆會員，中小企業(yè)創(chuàng)新基金評審專家，中國軟件技術(shù)大會特邀講師。
現(xiàn)從事云計算，NoSQL與大數(shù)據(jù)，企業(yè)IT架構(gòu)、企業(yè)數(shù)據(jù)架構(gòu)以及信息系統(tǒng)設(shè)計開發(fā)等方面的研究與實踐工作，涉及金融、電信及政府等多個行業(yè)。
曾任空間信息領(lǐng)域教師，獲福建省，山東省引進高級人才計劃。1992年起從事軟件的設(shè)計、開發(fā)與管理工作，自2002年起，在北美從事軟件系統(tǒng)分析與設(shè)計工作近七年之久，迄今為止，共負責、參與國內(nèi)外大中型軟件項目20多項，歷任中國大中型IT企業(yè)總工程師，技術(shù)管理部部長，事業(yè)部副總經(jīng)理，BI首席架構(gòu)師，軟件開發(fā)總監(jiān)及云計算與大數(shù)據(jù)首席架構(gòu)師等職。共在國內(nèi)外發(fā)表科技論文30余篇，多篇獲獎，并被美國《工程索引》EI檢索6篇。

北京大學博士后，第一屆中國軟件業(yè)十大杰出青年候選人。 專著《不是三維——軟件項目的設(shè)計、開發(fā)與管理》與《消息設(shè)計與開發(fā)：分布式應(yīng)用開發(fā)的核心技術(shù)》作者。 云計算數(shù)據(jù)基礎(chǔ)設(shè)施倡導者與研究者，第十六屆世界計算機大會電子商務(wù)大會數(shù)據(jù)管理分會主席，中國青年科技工作者協(xié)會第二屆會員，中小企業(yè)創(chuàng)新基金評審專家，中國軟件技術(shù)大會特邀講師。 現(xiàn)從事云計算，NoSQL與大數(shù)據(jù)，企業(yè)IT架構(gòu)、企業(yè)數(shù)據(jù)架構(gòu)以及信息系統(tǒng)設(shè)計開發(fā)等方面的研究與實踐工作，涉及金融、電信及政府等多個行業(yè)。 曾任空間信息領(lǐng)域教師，獲福建省，山東省引進高級人才計劃。1992年起從事軟件的設(shè)計、開發(fā)與管理工作，自2002年起，在北美從事軟件系統(tǒng)分析與設(shè)計工作近七年之久，迄今為止，共負責、參與國內(nèi)外大中型軟件項目20多項，歷任中國大中型IT企業(yè)總工程師，技術(shù)管理部部長，事業(yè)部副總經(jīng)理，BI首席架構(gòu)師，軟件開發(fā)總監(jiān)及云計算與大數(shù)據(jù)首席架構(gòu)師等職。共在國內(nèi)外發(fā)表科技論文30余篇，多篇獲獎，并被美國《工程索引》EI檢索6篇。

課程費用

5800.00 /人

課程時長

2天

成為教練

課程簡介

目標收益

通過該課程學習，洞悉Hadoop，NoSQL與Spark等技術(shù)的原理、架構(gòu)與技術(shù)手段；結(jié)合豐富實例掌握其設(shè)計與開發(fā)方法，以及掌握如軟件架構(gòu)、性能調(diào)優(yōu)等使用過程中的實用技巧；深入了解Hadoop，NoSQL，Spark體系中各成員，理解Hadoop，NoSQL，Spark成員各自的優(yōu)、缺點與正確適用場景，了解技術(shù)最新發(fā)展動向，能對Hadoop，NoSQL與Spark體系在學員企業(yè)、學員項目、學員研發(fā)中是否可用、如何定位以及如何使用做出正確判斷與學習，并且對如何結(jié)合大數(shù)據(jù)技術(shù)規(guī)劃企業(yè)數(shù)據(jù)架構(gòu)得到相當?shù)膯l(fā)與收獲。

培訓對象

企業(yè)中高層技術(shù)管理人員、企業(yè)技術(shù)戰(zhàn)略決策者、軟件架構(gòu)師、軟件研發(fā)人員與大數(shù)據(jù)技術(shù)愛好者，有大數(shù)據(jù)及海量數(shù)據(jù)管理與處理需求的企業(yè)優(yōu)先。

課程大綱

大數(shù)據(jù)時代關(guān)系數(shù)據(jù)庫的挑戰(zhàn)與應(yīng)對 1. 現(xiàn)代數(shù)據(jù)管理技術(shù)綜述
2. 關(guān)系數(shù)據(jù)庫技術(shù)的核心特征
3.主流關(guān)系數(shù)據(jù)庫的挑戰(zhàn)
4. 改進型關(guān)系數(shù)據(jù)庫
大數(shù)據(jù)技術(shù)綜述 1. 大數(shù)據(jù)概念澄清
2. 大數(shù)據(jù)技術(shù)家族
3. NoSQL技術(shù)綜述
3.1最早的NoSQL---BDB
3.2 Hadoop之Hbase與Facebook之Cassandra
3.3 MongoDB與CouchDB
3.4Memcached與Redis
3.5圖形數(shù)據(jù)庫Neo4j
4. MapReduce
5.關(guān)系數(shù)據(jù)庫聯(lián)邦
6.海量分布式文件系統(tǒng)
7大數(shù)據(jù)技術(shù)理論基礎(chǔ)
CAP，BASE，ACID
Hadoop實用教程 1. Hadoop技術(shù)概論
1.1 Hadoop體系架構(gòu)總論
1.2 HDFS-工作原理與架構(gòu)
1.3 平民化的分布式計算MapReduce
1.4 MapReduce工作原理與架構(gòu)
1.5 Hadoop數(shù)據(jù)倉庫-Hive
1.6 Hadoop NoSQL數(shù)據(jù)庫-HBase
1.7 工作流調(diào)度-Ooize
1.8 分布式協(xié)調(diào)系統(tǒng)--Zookeeper
2. Hadoop部署
2.1 Hadoop版本介紹與選擇
2.2 Hadoop部署實踐
2.3 Hadoop安裝文件構(gòu)成與配置體系
2.4 機器硬件建議配置
2.5 系統(tǒng)環(huán)境配置
2.6 基本參數(shù)配置與說明
2.7 進程分布規(guī)劃與啟動
3. 分布式文件系統(tǒng)HDFS實用教程
3.1 HDFS操作
3.2 HDFS編程—文件讀寫
3.3 HDFS數(shù)據(jù)壓縮
3.4 HDFS技術(shù)要點
4. MapReduce實用教程
4.1 MapReduce原理與架構(gòu)
4.2 MapReduce編程方法
4.3 MapReduce實用技術(shù)要點
4.4 MapReduce排序與關(guān)聯(lián)
4.5 MapReduce工作流
4.6 MapReduce調(diào)優(yōu)
5. MapReduce2.0-YARN
5.1 YARN的原理
5.2 YARN設(shè)計架構(gòu)
5.3 YARN工作流程
5.4 YARN與MapReduce1.0比較
6. MapReduce實例講解
6.1普通實例
6.2 高級實例
6.3 MapReduce高級數(shù)據(jù)分析（時間允許時）
7. Hadoop數(shù)據(jù)倉庫Hive
7.1 Hive編程
7.2 Hive環(huán)境部署與搭建
7.3 Hive工作機制
7.4 Hive語法與實踐
8. 其它ZooKeeper，Sqoop，Chukwa，Avro……
Hadoop技術(shù)分析 1. Hadoop MapReduce技術(shù)解析
6.1關(guān)于效率
6.2關(guān)于擴展性
6.3關(guān)于可靠性與可用性
6.4關(guān)于與關(guān)系數(shù)據(jù)庫
6.5關(guān)于適用的數(shù)據(jù)類型
6.6關(guān)于數(shù)據(jù)存儲與管理
2. Hadoop與關(guān)系數(shù)據(jù)庫
2.1 MapReduce與關(guān)系數(shù)據(jù)庫
2.2 Hive與MPP關(guān)系數(shù)據(jù)庫
NoSQL實用教程 1.NoSQL理論基礎(chǔ)---CAP與BASE深入分析
2.NoSQL實用教程
2.1 HBase實用教程
2.1.1 HBase原理
2.1.2 HBase實用安裝部署要點
2.1.3 HBase數(shù)據(jù)模型
2.1.4 HBase索引與關(guān)聯(lián)的實現(xiàn)
2.1.5 HBase使用
2.1.6HBase性能調(diào)優(yōu)
2.1.7 HBase高級設(shè)計教程---如何真正用好HBase
2.1.8 HBase與關(guān)系數(shù)據(jù)庫結(jié)合
3. NoSQL設(shè)計實例
3.1 HBase實現(xiàn)全屬性查詢
3.2 HBase實現(xiàn)時間序列數(shù)據(jù)管理
3.3 HBase與MapReduce結(jié)合示例
4. Facebook Cassandra介紹
5.MongoDB介紹
6.圖數(shù)據(jù)庫Neo4J介紹
NoSQL技術(shù)分析 1. NoSQL技術(shù)手段總結(jié)
1.1 水平分割
1.2 數(shù)據(jù)副本與讀寫一致性
1.3 In-Memory架構(gòu)
1.4 MVCC
1.5列存儲
1.6 COW
2. NoSQL技術(shù)解析
2.1 關(guān)于水平擴展性
2.2關(guān)于模式自由
3. NoSQL與關(guān)系數(shù)據(jù)庫
3.1 理論原則分析
3.2 邏輯模型分析
3.3 物理模型分析
3.4 索引、事務(wù)與關(guān)聯(lián)
3.5 使用場景定位
3.6 企業(yè)數(shù)據(jù)體系定位
Spark教程 1. Spark組成與體系架構(gòu)
2. Spark原理
3. Spark與Hadoop
4. Scala簡介
5. Spark技術(shù)流程
超越Hadoop 1. Hadoop技術(shù)體系的不足與尷尬
2. 新技術(shù)介紹
3. 互聯(lián)網(wǎng)技術(shù)體系介紹
4. 數(shù)據(jù)管理技術(shù)發(fā)展趨勢分析
大數(shù)據(jù)技術(shù)實踐分享 1. 海量數(shù)據(jù)處理架構(gòu)設(shè)計
2. 大數(shù)據(jù)驅(qū)動與企業(yè)業(yè)務(wù)/運營
3. 實踐中的企業(yè)大數(shù)據(jù)分析技術(shù)流程
3.1采集---各種方法的比較
3.2存儲---原始數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)提取
3.3模型---Web分析指標體系
3.4分析---大數(shù)據(jù)分析方法
3.5 行動---個性化推薦
4. 大數(shù)據(jù)與企業(yè)交易
5. 大數(shù)據(jù)與企業(yè)交互
5. 自已設(shè)計大數(shù)據(jù)技術(shù)體系
大數(shù)據(jù)與企業(yè)新一代數(shù)據(jù)體系建設(shè) 1.傳統(tǒng)的以關(guān)系數(shù)據(jù)庫為主的企業(yè)數(shù)據(jù)架構(gòu)
2.大數(shù)據(jù)時代的新一代企業(yè)數(shù)據(jù)邏輯架構(gòu)
2.1 數(shù)據(jù)分類
2.2 數(shù)據(jù)分布
2.3 數(shù)據(jù)流轉(zhuǎn)
2.4 數(shù)據(jù)集成
2.5 數(shù)據(jù)交換
2.6 數(shù)據(jù)分析
2.7 應(yīng)用展示
3. 新一代企業(yè)數(shù)據(jù)技術(shù)架構(gòu)
3.1邏輯架構(gòu)
3.2技術(shù)方法
3.3物理平臺
4. 新一代企業(yè)數(shù)據(jù)架構(gòu)中Hadoop/NoSQL與關(guān)系數(shù)據(jù)庫的相互配合
5. 典型場景示例
大數(shù)據(jù)時代關(guān)系數(shù)據(jù)庫的挑戰(zhàn)與應(yīng)對
1. 現(xiàn)代數(shù)據(jù)管理技術(shù)綜述
2. 關(guān)系數(shù)據(jù)庫技術(shù)的核心特征
3.主流關(guān)系數(shù)據(jù)庫的挑戰(zhàn)
4. 改進型關(guān)系數(shù)據(jù)庫
大數(shù)據(jù)技術(shù)綜述
1. 大數(shù)據(jù)概念澄清
2. 大數(shù)據(jù)技術(shù)家族
3. NoSQL技術(shù)綜述
3.1最早的NoSQL---BDB
3.2 Hadoop之Hbase與Facebook之Cassandra
3.3 MongoDB與CouchDB
3.4Memcached與Redis
3.5圖形數(shù)據(jù)庫Neo4j
4. MapReduce
5.關(guān)系數(shù)據(jù)庫聯(lián)邦
6.海量分布式文件系統(tǒng)
7大數(shù)據(jù)技術(shù)理論基礎(chǔ)
CAP，BASE，ACID
Hadoop實用教程
1. Hadoop技術(shù)概論
1.1 Hadoop體系架構(gòu)總論
1.2 HDFS-工作原理與架構(gòu)
1.3 平民化的分布式計算MapReduce
1.4 MapReduce工作原理與架構(gòu)
1.5 Hadoop數(shù)據(jù)倉庫-Hive
1.6 Hadoop NoSQL數(shù)據(jù)庫-HBase
1.7 工作流調(diào)度-Ooize
1.8 分布式協(xié)調(diào)系統(tǒng)--Zookeeper
2. Hadoop部署
2.1 Hadoop版本介紹與選擇
2.2 Hadoop部署實踐
2.3 Hadoop安裝文件構(gòu)成與配置體系
2.4 機器硬件建議配置
2.5 系統(tǒng)環(huán)境配置
2.6 基本參數(shù)配置與說明
2.7 進程分布規(guī)劃與啟動
3. 分布式文件系統(tǒng)HDFS實用教程
3.1 HDFS操作
3.2 HDFS編程—文件讀寫
3.3 HDFS數(shù)據(jù)壓縮
3.4 HDFS技術(shù)要點
4. MapReduce實用教程
4.1 MapReduce原理與架構(gòu)
4.2 MapReduce編程方法
4.3 MapReduce實用技術(shù)要點
4.4 MapReduce排序與關(guān)聯(lián)
4.5 MapReduce工作流
4.6 MapReduce調(diào)優(yōu)
5. MapReduce2.0-YARN
5.1 YARN的原理
5.2 YARN設(shè)計架構(gòu)
5.3 YARN工作流程
5.4 YARN與MapReduce1.0比較
6. MapReduce實例講解
6.1普通實例
6.2 高級實例
6.3 MapReduce高級數(shù)據(jù)分析（時間允許時）
7. Hadoop數(shù)據(jù)倉庫Hive
7.1 Hive編程
7.2 Hive環(huán)境部署與搭建
7.3 Hive工作機制
7.4 Hive語法與實踐
8. 其它ZooKeeper，Sqoop，Chukwa，Avro……
Hadoop技術(shù)分析
1. Hadoop MapReduce技術(shù)解析
6.1關(guān)于效率
6.2關(guān)于擴展性
6.3關(guān)于可靠性與可用性
6.4關(guān)于與關(guān)系數(shù)據(jù)庫
6.5關(guān)于適用的數(shù)據(jù)類型
6.6關(guān)于數(shù)據(jù)存儲與管理
2. Hadoop與關(guān)系數(shù)據(jù)庫
2.1 MapReduce與關(guān)系數(shù)據(jù)庫
2.2 Hive與MPP關(guān)系數(shù)據(jù)庫
NoSQL實用教程
1.NoSQL理論基礎(chǔ)---CAP與BASE深入分析
2.NoSQL實用教程
2.1 HBase實用教程
2.1.1 HBase原理
2.1.2 HBase實用安裝部署要點
2.1.3 HBase數(shù)據(jù)模型
2.1.4 HBase索引與關(guān)聯(lián)的實現(xiàn)
2.1.5 HBase使用
2.1.6HBase性能調(diào)優(yōu)
2.1.7 HBase高級設(shè)計教程---如何真正用好HBase
2.1.8 HBase與關(guān)系數(shù)據(jù)庫結(jié)合
3. NoSQL設(shè)計實例
3.1 HBase實現(xiàn)全屬性查詢
3.2 HBase實現(xiàn)時間序列數(shù)據(jù)管理
3.3 HBase與MapReduce結(jié)合示例
4. Facebook Cassandra介紹
5.MongoDB介紹
6.圖數(shù)據(jù)庫Neo4J介紹
NoSQL技術(shù)分析
1. NoSQL技術(shù)手段總結(jié)
1.1 水平分割
1.2 數(shù)據(jù)副本與讀寫一致性
1.3 In-Memory架構(gòu)
1.4 MVCC
1.5列存儲
1.6 COW
2. NoSQL技術(shù)解析
2.1 關(guān)于水平擴展性
2.2關(guān)于模式自由
3. NoSQL與關(guān)系數(shù)據(jù)庫
3.1 理論原則分析
3.2 邏輯模型分析
3.3 物理模型分析
3.4 索引、事務(wù)與關(guān)聯(lián)
3.5 使用場景定位
3.6 企業(yè)數(shù)據(jù)體系定位
Spark教程
1. Spark組成與體系架構(gòu)
2. Spark原理
3. Spark與Hadoop
4. Scala簡介
5. Spark技術(shù)流程
超越Hadoop
1. Hadoop技術(shù)體系的不足與尷尬
2. 新技術(shù)介紹
3. 互聯(lián)網(wǎng)技術(shù)體系介紹
4. 數(shù)據(jù)管理技術(shù)發(fā)展趨勢分析
大數(shù)據(jù)技術(shù)實踐分享
1. 海量數(shù)據(jù)處理架構(gòu)設(shè)計
2. 大數(shù)據(jù)驅(qū)動與企業(yè)業(yè)務(wù)/運營
3. 實踐中的企業(yè)大數(shù)據(jù)分析技術(shù)流程
3.1采集---各種方法的比較
3.2存儲---原始數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)提取
3.3模型---Web分析指標體系
3.4分析---大數(shù)據(jù)分析方法
3.5 行動---個性化推薦
4. 大數(shù)據(jù)與企業(yè)交易
5. 大數(shù)據(jù)與企業(yè)交互
5. 自已設(shè)計大數(shù)據(jù)技術(shù)體系
大數(shù)據(jù)與企業(yè)新一代數(shù)據(jù)體系建設(shè)
1.傳統(tǒng)的以關(guān)系數(shù)據(jù)庫為主的企業(yè)數(shù)據(jù)架構(gòu)
2.大數(shù)據(jù)時代的新一代企業(yè)數(shù)據(jù)邏輯架構(gòu)
2.1 數(shù)據(jù)分類
2.2 數(shù)據(jù)分布
2.3 數(shù)據(jù)流轉(zhuǎn)
2.4 數(shù)據(jù)集成
2.5 數(shù)據(jù)交換
2.6 數(shù)據(jù)分析
2.7 應(yīng)用展示
3. 新一代企業(yè)數(shù)據(jù)技術(shù)架構(gòu)
3.1邏輯架構(gòu)
3.2技術(shù)方法
3.3物理平臺
4. 新一代企業(yè)數(shù)據(jù)架構(gòu)中Hadoop/NoSQL與關(guān)系數(shù)據(jù)庫的相互配合
5. 典型場景示例

活動詳情

提交需求