美圖PB級大數(shù)據(jù)基礎(chǔ)架構(gòu)升級之路

案例背景:
隨著美圖業(yè)務(wù)的快速擴(kuò)張，傳統(tǒng)的通過加機(jī)器來保障算力的方式已經(jīng)無法滿足業(yè)務(wù)以及成本的需求。海量用戶將給大數(shù)據(jù)架構(gòu)帶來哪些挑戰(zhàn)？如何提升大數(shù)據(jù)基礎(chǔ)設(shè)施算力？大數(shù)據(jù)基礎(chǔ)設(shè)施穩(wěn)定性如何提升？數(shù)據(jù)安全如何處理？通過此次分享，希望能給大家的在大數(shù)據(jù)架構(gòu)及優(yōu)化方面帶來一些的啟發(fā)。

解決思路:
1. 落地引擎改造，調(diào)度升級，文件列式存儲改造等去提升大數(shù)據(jù)基礎(chǔ)設(shè)施算力
2. 構(gòu)建完善的監(jiān)控告警，使其精細(xì)化，同時提升組件高可用、bug fix&特性增強(qiáng)從而達(dá)到基礎(chǔ)設(shè)施穩(wěn)定性提升的效果
3. 通過集群入口收斂，平臺化管理，服務(wù)器環(huán)境治理，讓數(shù)據(jù)安全得到保障。

成果：
美圖結(jié)合自身業(yè)務(wù)，通過引擎升級改造、架構(gòu)優(yōu)化、組件定制與加強(qiáng)、社區(qū)特性引入等技術(shù)手段，將大數(shù)據(jù)基礎(chǔ)設(shè)施的計算性能較之前提升數(shù)倍，并在此基礎(chǔ)之上將計算集群規(guī)?？s小了一半，大幅降低了業(yè)務(wù)成本。