郭憶
0 ? $score . '分' : '10.0分' ?>網(wǎng)易 網(wǎng)易數(shù)據(jù)科學中心 大數(shù)據(jù)專家 網(wǎng)易有數(shù)產(chǎn)品負責人
互聯(lián)網(wǎng)
訪問次數(shù)
5809
反饋數(shù)量
14
關于教練
郭憶，網(wǎng)易大數(shù)據(jù)產(chǎn)品負責人，網(wǎng)易高級技術專家，十年互聯(lián)網(wǎng)數(shù)據(jù)研發(fā)和管理的經(jīng)驗，極客時間《數(shù)據(jù)中臺實戰(zhàn)課》作者，訂閱量超過5700+。支撐了網(wǎng)易云音樂、嚴選、新聞、有道數(shù)據(jù)中臺的建設，沉淀出網(wǎng)易數(shù)據(jù)中臺建設的方法論和支撐技術體系。在InfoQ、AI在線發(fā)表《網(wǎng)易數(shù)據(jù)中臺實踐》文章，閱讀量超過1W+。
課程
-
數(shù)據(jù)中臺模式下海量任務的高效研發(fā)和運維管理
案例背景:
數(shù)據(jù)中臺的核心在于數(shù)據(jù)模型的復用，打破原有的煙囪式的開發(fā)模式，通過抽象公共數(shù)據(jù)層，將數(shù)據(jù)以服務化的方式在不同的數(shù)據(jù)產(chǎn)品之間進行共享。所以在數(shù)據(jù)中臺的模式下，大數(shù)據(jù)任務之間存在高度復雜的依賴關系，就像一張大網(wǎng)，一個任務異常，可能會導致下游很多模型和指標，這就對大數(shù)據(jù)任務的研發(fā)和運維管理帶來諸多挑戰(zhàn)：
1. 如何選擇一個成熟的開源調(diào)度系統(tǒng)，支撐數(shù)據(jù)中臺的海量任務調(diào)度？
2. 如何實現(xiàn)海量任務的精細化運維和管理
3. 如何保障質(zhì)量的前提下，實現(xiàn)研發(fā)效率的最大化
4. 如何在資源隔離的前提下，實現(xiàn)高效的數(shù)據(jù)測試？
解決思路:
本次分享，將結合網(wǎng)易在數(shù)據(jù)中臺構建過程中遇到的真實案例，為大家介紹網(wǎng)易在海量任務高效研發(fā)和運維管理方面的實踐。網(wǎng)易任務調(diào)度系統(tǒng)基于開源azkaban項目進行深度改造，包括：新增“跨流依賴”、“并發(fā)鏈式補數(shù)據(jù)”、“節(jié)點前后置動作”、“公共資源”等特性；同時針對 Azkaban 服務在運維能力的不足，實現(xiàn)了“高可用”、“平滑升級”?；?Azkaban之上，我們搭建了智能任務運維中心系統(tǒng)，提供了基線預警、任務智能診斷、全鏈路影響分析、關鍵鏈路分析、凍結池、加速器等特性，保障了數(shù)據(jù)中臺每天能夠按時、正確的產(chǎn)出數(shù)據(jù)。同時，網(wǎng)易還在大數(shù)據(jù)研發(fā)領域，構建了數(shù)據(jù)測試中心，實現(xiàn)了大數(shù)據(jù)研發(fā)的CI/CD devops pipleline，在數(shù)據(jù)研發(fā)效率和質(zhì)量方面做了最佳實踐探索。
成果：
1. 網(wǎng)易Azkaban 每日有20W的任務調(diào)度，有1W多任務依賴關系。
2. 任務運維中心，幫助嚴選構建了基于基線的任務管理模式，基于基線預警的能力，實現(xiàn)了8W任務的精細化管理，任務完成率達到了96.14%，首次實現(xiàn)了S級大促數(shù)據(jù)零延遲。
3. 通過構建CI/CD Devops pipleline， 同時數(shù)據(jù)質(zhì)量的問題下降了60%。
4. 通過數(shù)據(jù)沙箱的構建，在物理集群完全隔離的前提下，實現(xiàn)了一套代碼，透明發(fā)布，任務發(fā)布效率提升300%。暫無課程排期 -
網(wǎng)易數(shù)據(jù)生產(chǎn)力方法論及實踐
為了實現(xiàn)通過使用數(shù)據(jù)帶來組織生產(chǎn)力的提升，網(wǎng)易在2021年數(shù)字+大會上正式提出了“數(shù)據(jù)生產(chǎn)力”的概念。數(shù)據(jù)生產(chǎn)力的愿景是實現(xiàn)組織內(nèi)“人人用數(shù)據(jù)，時時用數(shù)據(jù)”。數(shù)據(jù)生產(chǎn)力包括數(shù)據(jù)中臺的建設和數(shù)據(jù)產(chǎn)品的建設，數(shù)據(jù)中臺、數(shù)據(jù)產(chǎn)品以及業(yè)務系統(tǒng)組成了一個“數(shù)智化”的循環(huán)，目標是讓業(yè)務流程運轉(zhuǎn)的更加智能化。為此網(wǎng)易提出了數(shù)據(jù)生產(chǎn)力的三大核心方法論：DataOps、DataFusion和DataProduct。網(wǎng)易提出數(shù)據(jù)中臺組織構建，應該遵循“按需規(guī)劃、逐步迭代、效益為先”的原則，對于集團型企業(yè)可以構建兩級數(shù)據(jù)中臺架構。在三大核心方法論的指導下，網(wǎng)易構建了面向數(shù)據(jù)生產(chǎn)力的四層技術架構。本次分享，將以網(wǎng)易數(shù)據(jù)生產(chǎn)力方法論及其最佳實踐作為重點，穿插網(wǎng)易內(nèi)部和外部的多個案例，為大家介紹企業(yè)該如何實現(xiàn)“人人用數(shù)據(jù)，時時用數(shù)據(jù)”，通過使用數(shù)據(jù)帶來組織生產(chǎn)力提升。
暫無課程排期開發(fā)經(jīng)理
訪問次數(shù)
5809
反饋數(shù)量
相關教練
