課程簡介

隨著大數(shù)據(jù)時代的快速到來，以及大數(shù)據(jù)在生產(chǎn)生活中迅速應用，大數(shù)據(jù)領域如雨后春筍般的出現(xiàn)大量的新技術(shù)，如Hadoop、Spark等技術(shù)，大數(shù)據(jù)領域的數(shù)據(jù)處理、統(tǒng)計分析、數(shù)據(jù)挖掘、機器學習、人工智能、大數(shù)據(jù)應用開發(fā)等各種不同類型的計算操作，應用范圍廣泛、前景非常廣闊。本課程是尹老師多年大數(shù)據(jù)工作經(jīng)驗的總結(jié)和歸納，從實際業(yè)務案例為入口，使學員從理論層到實操層面系統(tǒng)的學習數(shù)據(jù)處理技術(shù)、數(shù)據(jù)挖掘、數(shù)據(jù)創(chuàng)新應用，使學員深入理解大數(shù)據(jù)分析工具。通過本課程的學習，學員即可以正確的分析企業(yè)的數(shù)據(jù)，為管理者、決策層提供數(shù)據(jù)支撐。
Hadoop生態(tài)系統(tǒng)是大數(shù)據(jù)技術(shù)事實標準，是大數(shù)據(jù)思想、理念、機制的具體實現(xiàn)，是整個大數(shù)據(jù)技術(shù)中公認的核心框架和具有極強的使用價值與研究價值。Hadoop 系統(tǒng)是一款開源軟件，能夠處理海量的各種結(jié)構(gòu)（包括結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化）的數(shù)據(jù)。
Yarn是基于Hadoop的分布式集群資源管理框架；隨著Hadoop集群應用的廣泛，以及集群的規(guī)模越來越大，人們發(fā)現(xiàn)Hadoop MRv1存在諸多問題，因此Hadoop MRv2誕生，即現(xiàn)在的YARN，解決了4000節(jié)點的上限問題。
基于 Hadoop 的解決方案能夠幫助企業(yè)應對多個大數(shù)據(jù)挑戰(zhàn)，包括：
1、分析海量（PB 級或者更多）的數(shù)據(jù)
Hadoop 能夠分析所有數(shù)據(jù)，使得分析更準確，預測更精確；
2、從多個數(shù)據(jù)類型的組合中獲得新的洞察力
將來自多個數(shù)據(jù)源的不同類型的數(shù)據(jù)進行結(jié)合分析，發(fā)現(xiàn)新的數(shù)據(jù)關(guān)系和洞察力；
3、存儲大量的數(shù)據(jù)
由于它不依賴于高端硬件，且是可擴展的，所以使存儲大量數(shù)據(jù)變得經(jīng)濟有效；
4、數(shù)據(jù)發(fā)現(xiàn)(data discovery)和研究的沙箱
Hadoop 提供了一個地方，數(shù)據(jù)科學家可在此發(fā)現(xiàn)新的數(shù)據(jù)關(guān)系和相互依賴性。

工業(yè)和信息化部電信研究院于2014年5月發(fā)布的“大數(shù)據(jù)白皮書”中指出：
“2012 年美國聯(lián)邦政府就在全球率先推出“大數(shù)據(jù)行動計劃（Big data initiative）”，重點在基礎技術(shù)研究和公共部門應用上加大投入。在該計劃支持下，加州大學伯克利分校開發(fā)了完整的大數(shù)據(jù)開源軟件平臺“伯克利數(shù)據(jù)分析軟件棧（Berkeley Data Analytics Stack），其中的內(nèi)存計算軟件Spark的性能比Hadoop 提高近百倍，對產(chǎn)業(yè)界大數(shù)據(jù)技術(shù)走向產(chǎn)生巨大影響”
----來源：工業(yè)和信息化部電信研究院



Spark是成為替代MapReduce架構(gòu)的大數(shù)據(jù)分析技術(shù)，Spark的大數(shù)據(jù)生態(tài)體系包括流處理、圖技術(shù)、機器學習等各個方面，并且已經(jīng)成為Apache頂級項目，可以預計的是2014年下半年到2015年在社區(qū)和商業(yè)應用上會有爆發(fā)式的增長。


國內(nèi)外一些大型互聯(lián)網(wǎng)公司已經(jīng)部署了Spark，并且它的高性能已經(jīng)得到實踐的證明。國外Yahoo已在多個項目中部署Spark，尤其在信息推薦的項目中得到深入的應用；國內(nèi)的淘寶、愛奇異、優(yōu)酷土豆、網(wǎng)易、baidu、騰訊等大型互聯(lián)網(wǎng)企業(yè)已經(jīng)將Spark應用于自己的生產(chǎn)系統(tǒng)中。國內(nèi)外的應用開始越來越廣泛。Spark正在逐漸走向成熟，并在這個領域扮演更加重要的角色。

目標收益

1、大數(shù)據(jù)在行業(yè)、領域中的應用案例及實踐；案例涉及到Hadoop、Hbase、Spark、Flink、kafka、es、redis等開發(fā)組件的應用案例及實踐；
2、應用案例及實踐是如何搭建的、相關(guān)技術(shù)組件在實際使用過程中的注意事項及關(guān)鍵點；搭建就是指基礎組件如何搭建應用；
3、在反欺詐方面（羊毛黨）、安全方面、金融方面、風控方面，這四個方面的應用案例及實踐，重點講反欺詐方面（羊毛黨）；
4、從思想到技術(shù)再到實操，深入系統(tǒng)的剖析大數(shù)據(jù)思想、大數(shù)據(jù)技術(shù)、大數(shù)據(jù)實踐，使學員全面的、正確的認識大數(shù)據(jù)，并通過動手實踐編寫大數(shù)據(jù)挖掘程序，使學員深入理解大數(shù)據(jù)；
5、使學員深入理解Hadoop、Hbase、Spark、Flink、kafka、es、redis為代表的大數(shù)據(jù)分布式技術(shù)框架；
6、使學員掌握Hadoop、Hbase、Spark、Flink、kafka、es、redis大數(shù)據(jù)編程技術(shù)，能夠達到大數(shù)據(jù)挖掘的目的；
7、從代碼實踐的角度剖析大數(shù)據(jù)分布式技術(shù)執(zhí)行的具體過程并具備大數(shù)據(jù)開發(fā)能力；
通過分享大數(shù)據(jù)在金融結(jié)算方面的應用案例，如反欺詐、金融風險防范、金融數(shù)據(jù)分析可利用的價值方向等，加深對大數(shù)據(jù)的理解。

培訓對象

1、對大數(shù)據(jù)的數(shù)據(jù)分析、數(shù)據(jù)挖掘感興趣的企業(yè)或者個人；
2、適合于想通過數(shù)據(jù)化決策防范風險等相關(guān)的企業(yè)或者個人；
3、對大數(shù)據(jù)、分布式存儲、分析等感興趣的人員；
4、大型網(wǎng)站、電商網(wǎng)站等運維人員；
5、云計算、大數(shù)據(jù)從業(yè)者；
6、熟悉Hadoop生態(tài)體系，想了解和學習Hadoop與Spark整合在企業(yè)應用實戰(zhàn)案例的朋友；
7、系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級程序員、資深開發(fā)人員；
8、牽涉到大數(shù)據(jù)處理的數(shù)據(jù)中心運行、規(guī)劃、設計負責人；
9、政府機關(guān)，金融保險、移動互聯(lián)網(wǎng)等大數(shù)據(jù)單位的負責人；
10、高校、科研院所大數(shù)據(jù)研究人員，涉及到大數(shù)據(jù)與分布式數(shù)據(jù)處理的人員；
11、數(shù)據(jù)倉

課程大綱