課程簡介

案例背景:
隨著美圖業(yè)務(wù)的快速擴張，傳統(tǒng)的通過加機器來保障算力的方式已經(jīng)無法滿足業(yè)務(wù)以及成本的需求。海量用戶將給大數(shù)據(jù)架構(gòu)帶來哪些挑戰(zhàn)？如何提升大數(shù)據(jù)基礎(chǔ)設(shè)施算力？大數(shù)據(jù)基礎(chǔ)設(shè)施穩(wěn)定性如何提升？數(shù)據(jù)安全如何處理？通過此次分享，希望能給大家的在大數(shù)據(jù)架構(gòu)及優(yōu)化方面帶來一些的啟發(fā)。

解決思路:
1. 落地引擎改造，調(diào)度升級，文件列式存儲改造等去提升大數(shù)據(jù)基礎(chǔ)設(shè)施算力
2. 構(gòu)建完善的監(jiān)控告警，使其精細化，同時提升組件高可用、bug fix&特性增強從而達到基礎(chǔ)設(shè)施穩(wěn)定性提升的效果
3. 通過集群入口收斂，平臺化管理，服務(wù)器環(huán)境治理，讓數(shù)據(jù)安全得到保障。

成果：
美圖結(jié)合自身業(yè)務(wù)，通過引擎升級改造、架構(gòu)優(yōu)化、組件定制與加強、社區(qū)特性引入等技術(shù)手段，將大數(shù)據(jù)基礎(chǔ)設(shè)施的計算性能較之前提升數(shù)倍，并在此基礎(chǔ)之上將計算集群規(guī)模縮小了一半，大幅降低了業(yè)務(wù)成本。

目標收益

1. 了解PB級別大數(shù)據(jù)底層技術(shù)架構(gòu)以及美圖如何優(yōu)化大數(shù)據(jù)架構(gòu)以適應(yīng)業(yè)務(wù)發(fā)展
2. 了解大數(shù)據(jù)基礎(chǔ)架構(gòu)常見的幾個痛點
3. 了解相關(guān)熱門大數(shù)據(jù)技術(shù)框架的適用場景和各自的優(yōu)缺點
4. 了解大數(shù)據(jù)底層架構(gòu)的一些優(yōu)化方向

培訓對象

課程內(nèi)容

案例方向

---

高效運維/架構(gòu)演進/微服務(wù)的2.0時代/云原生構(gòu)建之路

案例背景

---

隨著美圖業(yè)務(wù)的快速擴張，傳統(tǒng)的通過加機器來保障算力的方式已經(jīng)無法滿足業(yè)務(wù)以及成本的需求。海量用戶將給大數(shù)據(jù)架構(gòu)帶來哪些挑戰(zhàn)？如何提升大數(shù)據(jù)基礎(chǔ)設(shè)施算力？大數(shù)據(jù)基礎(chǔ)設(shè)施穩(wěn)定性如何提升？數(shù)據(jù)安全如何處理？通過此次分享，希望能給大家的在大數(shù)據(jù)架構(gòu)及優(yōu)化方面帶來一些的啟發(fā)。

收益

---

1. 了解PB級別大數(shù)據(jù)底層技術(shù)架構(gòu)以及美圖如何優(yōu)化大數(shù)據(jù)架構(gòu)以適應(yīng)業(yè)務(wù)發(fā)展
2. 了解大數(shù)據(jù)基礎(chǔ)架構(gòu)常見的幾個痛點
3. 了解相關(guān)熱門大數(shù)據(jù)技術(shù)框架的適用場景和各自的優(yōu)缺點
4. 了解大數(shù)據(jù)底層架構(gòu)的一些優(yōu)化方向

解決思路

---

1. 落地引擎改造，調(diào)度升級，文件列式存儲改造等去提升大數(shù)據(jù)基礎(chǔ)設(shè)施算力
2. 構(gòu)建完善的監(jiān)控告警，使其精細化，同時提升組件高可用、bug fix&特性增強從而達到基礎(chǔ)設(shè)施穩(wěn)定性提升的效果
3. 通過集群入口收斂，平臺化管理，服務(wù)器環(huán)境治理，讓數(shù)據(jù)安全得到保障。

結(jié)果

---

美圖結(jié)合自身業(yè)務(wù)，通過引擎升級改造、架構(gòu)優(yōu)化、組件定制與加強、社區(qū)特性引入等技術(shù)手段，將大數(shù)據(jù)基礎(chǔ)設(shè)施的計算性能較之前提升數(shù)倍，并在此基礎(chǔ)之上將計算集群規(guī)?？s小了一半，大幅降低了業(yè)務(wù)成本。