虎牙大數(shù)據(jù)融合云架構(gòu)

案例背景:
因?yàn)閿?shù)據(jù)需要關(guān)聯(lián)分析，才更能發(fā)揮其價(jià)值，因此決定了大數(shù)據(jù)更適合于集中式的存儲(chǔ)與計(jì)算，但是當(dāng)其集中于單一機(jī)房時(shí)，必然面臨機(jī)房容量上限，當(dāng)不得不新增或搬遷機(jī)房，如何提高1-2個(gè)季度的遷移效率？無法預(yù)測的任務(wù)重跑和突發(fā)的adhoc大查詢，如何能夠快速的交付算力，從而不影響用戶體驗(yàn)？月報(bào)、季報(bào)、年報(bào)時(shí)，這類短暫的算力需求之后，算力能否快速縮容，從而節(jié)省IT成本？公有云上，產(chǎn)商的先進(jìn)的技術(shù)能力是否能夠被快速應(yīng)用到企業(yè)中，但是又不想被單一給產(chǎn)商綁定，做到隨時(shí)上云/下云/遷云？虎牙大數(shù)據(jù)融合云的方案中，這些問題都將給出解決方案

解決思路:
在虎牙的大數(shù)據(jù)融合項(xiàng)目中，我們基于hadoop和公有云的對(duì)象存儲(chǔ)，其上構(gòu)建融合云大數(shù)據(jù)存儲(chǔ)，解決數(shù)據(jù)的多副本異地異構(gòu)就近讀寫問題；通過采集任務(wù)的讀寫IO、算力消耗，結(jié)合任務(wù)依賴鏈，使用算法動(dòng)態(tài)對(duì)周期任務(wù)進(jìn)行分簇，盡量降低簇間數(shù)據(jù)交換，以簇為單位進(jìn)行任務(wù)調(diào)度；

成果：
依托此系統(tǒng)，目前虎牙大數(shù)據(jù)跑在三個(gè)IDC機(jī)房和一個(gè)云上機(jī)房，擴(kuò)機(jī)房的遷移/擴(kuò)容分鐘內(nèi)完成，對(duì)上游數(shù)據(jù)開發(fā)完全透明；同時(shí)在2020年年報(bào)以及2021春節(jié)期間，以及多次臨時(shí)的adhoc大查詢，通過公有云算力可一小時(shí)內(nèi)快速擴(kuò)縮容；通過融合云存儲(chǔ)，冷數(shù)據(jù)被編排存儲(chǔ)到公有云廉價(jià)存儲(chǔ)中，大幅節(jié)省降低存儲(chǔ)成本