課程簡介

案例背景:
隨著Kubernetes的成熟，越來越多的企業(yè)把Kubernetes作為AI、大數(shù)據(jù)、高性能計(jì)算的下一代基礎(chǔ)設(shè)施。然而Kubernetes作為通用解決方案在AI、大數(shù)據(jù)等專業(yè)領(lǐng)域仍然和業(yè)務(wù)訴求存在一定的差距。主要挑戰(zhàn)在調(diào)度能力無法滿足計(jì)算需求、作業(yè)管理能力無法滿足AI訓(xùn)練的復(fù)雜需求、資源管理能力缺少分時(shí)共享等等。Volcano團(tuán)隊(duì)針對(duì)這些挑戰(zhàn)進(jìn)行了各種探索和優(yōu)化實(shí)踐，并取得了優(yōu)異的成果。

解決思路:
我們主要針對(duì)機(jī)器學(xué)習(xí)的特點(diǎn)，從調(diào)度方面進(jìn)行了優(yōu)化，提供了組調(diào)度、binpack、拓?fù)湔{(diào)度、GPU共享等多種調(diào)度策略，有效縮短了分布式訓(xùn)練的時(shí)間。同時(shí)我們?cè)鰪?qiáng)了分布式訓(xùn)練作業(yè)的生命周期管理，讓分布式訓(xùn)練更簡單、更高效。

成果：
優(yōu)化后實(shí)際分布式訓(xùn)練性能提升30%以上

目標(biāo)收益

1. 機(jī)器學(xué)習(xí)、深度學(xué)習(xí)平臺(tái)優(yōu)化經(jīng)驗(yàn)
2. 基于Kubernetes的機(jī)器學(xué)習(xí)平臺(tái)調(diào)度系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)
3. 開源社區(qū)運(yùn)作、參與經(jīng)驗(yàn)

培訓(xùn)對(duì)象

課程內(nèi)容

案例方向

---

數(shù)據(jù)商業(yè)化/大數(shù)據(jù)架構(gòu)/NLP/人工智能產(chǎn)品落地

案例背景

---

隨著Kubernetes的成熟，越來越多的企業(yè)把Kubernetes作為AI、大數(shù)據(jù)、高性能計(jì)算的下一代基礎(chǔ)設(shè)施。然而Kubernetes作為通用解決方案在AI、大數(shù)據(jù)等專業(yè)領(lǐng)域仍然和業(yè)務(wù)訴求存在一定的差距。主要挑戰(zhàn)在調(diào)度能力無法滿足計(jì)算需求、作業(yè)管理能力無法滿足AI訓(xùn)練的復(fù)雜需求、資源管理能力缺少分時(shí)共享等等。Volcano團(tuán)隊(duì)針對(duì)這些挑戰(zhàn)進(jìn)行了各種探索和優(yōu)化實(shí)踐，并取得了優(yōu)異的成果。

收益

---

1. 機(jī)器學(xué)習(xí)、深度學(xué)習(xí)平臺(tái)優(yōu)化經(jīng)驗(yàn)
2. 基于Kubernetes的機(jī)器學(xué)習(xí)平臺(tái)調(diào)度系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)
3. 開源社區(qū)運(yùn)作、參與經(jīng)驗(yàn)

解決思路

---

我們主要針對(duì)機(jī)器學(xué)習(xí)的特點(diǎn)，從調(diào)度方面進(jìn)行了優(yōu)化，提供了組調(diào)度、binpack、拓?fù)湔{(diào)度、GPU共享等多種調(diào)度策略，有效縮短了分布式訓(xùn)練的時(shí)間。同時(shí)我們?cè)鰪?qiáng)了分布式訓(xùn)練作業(yè)的生命周期管理，讓分布式訓(xùn)練更簡單、更高效。

結(jié)果

---

優(yōu)化后實(shí)際分布式訓(xùn)練性能提升30%以上