課程簡介
「TensorFlow內(nèi)核剖析」是一個理論與實(shí)踐相結(jié)合的課程，闡述TensorFlow的系統(tǒng)架構(gòu)，詮釋內(nèi)核的工作原理。
目標(biāo)收益
a) 深度了解TensorFlow的系統(tǒng)架構(gòu)，組件交互，及其內(nèi)核工作與運(yùn)行機(jī)制；
b) 深度了解TensorFlow的編程模型，及其靈活運(yùn)用深度學(xué)習(xí)的基本算法原理，并使用TensorFlow實(shí)現(xiàn)。
培訓(xùn)對象
a) 具有1年及以上工作經(jīng)驗(yàn)，并期望掌握深度學(xué)習(xí)算法，TensorFlow系統(tǒng)架構(gòu)，及其運(yùn)行機(jī)制的研發(fā)工程師，算法工程師，及其架構(gòu)師。
課程大綱
|
第一單元： 系統(tǒng)架構(gòu) |
前世今生 - 前世：DistBelief - 今生：TensorFlow - 設(shè)計原則 - 原子操作 - 延遲執(zhí)行 - 異構(gòu)抽象 - 總體架構(gòu) - 圖構(gòu)造 - 子圖劃分 - 子圖注冊 - 子圖執(zhí)行 - 工作流：機(jī)器學(xué)習(xí) - 輸入管道 - 訓(xùn)練模型 |
|
第二單元 編程模型 |
### 基本概念 - 計算圖 - OP與節(jié)點(diǎn) - Tensor與邊 - 兩階段 - 會話 - 設(shè)備 - 變量 - 隊列 ### 會話 - 生命周期 - 非交互式 - 交互式 ### 設(shè)備 - 設(shè)備約束 - 同位關(guān)系 ### 變量 - 初始化模型 - 初始化依賴 - 變量類別 ### 輸入管道 - 數(shù)據(jù)供給 - 隊列 ### 模型訓(xùn)練 - 會話模型 - 協(xié)助協(xié)議 - 監(jiān)聽器 - 協(xié)調(diào)器 - 斷點(diǎn)恢復(fù) ### 優(yōu)化算法 - 梯度計算 - 優(yōu)化器 |
|
第三單元 編程模型 |
### 執(zhí)行機(jī)制 - 部分執(zhí)行 - 并發(fā)執(zhí)行 - 分布式執(zhí)行 ### C API：前后端邊界 - Swig：幕后英雄 - 實(shí)戰(zhàn)：會話創(chuàng)建 ### OP本質(zhì)論 - OP注冊 - 內(nèi)核實(shí)現(xiàn) - OP構(gòu)造 - OP執(zhí)行 ### Tensor本質(zhì)論 - 領(lǐng)域模型 - 形狀推演 - 內(nèi)存管理 ### 本地模式 - 會話生命周期 - 并發(fā)執(zhí)行 ### 分布式模式 - 分布式模型 - 會話生命周期 ### 圖操作 - 子圖剪枝 - 子圖分裂 - 子圖注冊 - 子圖執(zhí)行 ### 設(shè)備通信 - Send與Recv - 信箱機(jī)制 ### 設(shè)備分配 - 設(shè)備約束 - 開銷模型 ### Kernel實(shí)現(xiàn) - 多態(tài)選擇 |
|
第一單元： 系統(tǒng)架構(gòu) 前世今生 - 前世：DistBelief - 今生：TensorFlow - 設(shè)計原則 - 原子操作 - 延遲執(zhí)行 - 異構(gòu)抽象 - 總體架構(gòu) - 圖構(gòu)造 - 子圖劃分 - 子圖注冊 - 子圖執(zhí)行 - 工作流：機(jī)器學(xué)習(xí) - 輸入管道 - 訓(xùn)練模型 |
|
第二單元 編程模型 ### 基本概念 - 計算圖 - OP與節(jié)點(diǎn) - Tensor與邊 - 兩階段 - 會話 - 設(shè)備 - 變量 - 隊列 ### 會話 - 生命周期 - 非交互式 - 交互式 ### 設(shè)備 - 設(shè)備約束 - 同位關(guān)系 ### 變量 - 初始化模型 - 初始化依賴 - 變量類別 ### 輸入管道 - 數(shù)據(jù)供給 - 隊列 ### 模型訓(xùn)練 - 會話模型 - 協(xié)助協(xié)議 - 監(jiān)聽器 - 協(xié)調(diào)器 - 斷點(diǎn)恢復(fù) ### 優(yōu)化算法 - 梯度計算 - 優(yōu)化器 |
|
第三單元 編程模型 ### 執(zhí)行機(jī)制 - 部分執(zhí)行 - 并發(fā)執(zhí)行 - 分布式執(zhí)行 ### C API：前后端邊界 - Swig：幕后英雄 - 實(shí)戰(zhàn)：會話創(chuàng)建 ### OP本質(zhì)論 - OP注冊 - 內(nèi)核實(shí)現(xiàn) - OP構(gòu)造 - OP執(zhí)行 ### Tensor本質(zhì)論 - 領(lǐng)域模型 - 形狀推演 - 內(nèi)存管理 ### 本地模式 - 會話生命周期 - 并發(fā)執(zhí)行 ### 分布式模式 - 分布式模型 - 會話生命周期 ### 圖操作 - 子圖剪枝 - 子圖分裂 - 子圖注冊 - 子圖執(zhí)行 ### 設(shè)備通信 - Send與Recv - 信箱機(jī)制 ### 設(shè)備分配 - 設(shè)備約束 - 開銷模型 ### Kernel實(shí)現(xiàn) - 多態(tài)選擇 |
近期公開課推薦
