課程簡(jiǎn)介
深度學(xué)習(xí)前沿 - 谷歌變形金剛架構(gòu)及其應(yīng)用
目標(biāo)收益
培訓(xùn)對(duì)象
課程大綱
| 1. 注意力機(jī)制 Attention |
- Seq-to-Seq 架構(gòu)的核心 - 簡(jiǎn)單的 machine translation with attention: NMT - Neural Machine Translation - R-NET: MSRA 的 attention-based 閱讀理解模型 - Neural Turning Machine - Attention 的擴(kuò)展應(yīng)用：原理、實(shí)現(xiàn) |
| 2. Attention is All You Need - 注意力模型的“終極版” |
- 架構(gòu)、原理和實(shí)現(xiàn) - 和“傳統(tǒng)” Attention 模型的比較 |
| 3. 變形金剛 Transformer |
- 例子：句子分類 - 模型架構(gòu) - 與卷積網(wǎng)絡(luò)的異同 - Embedding 的新時(shí)代 - 變形金剛：超越 LSTM |
| 4. ELMo 和 BERT 模型 |
- ELMo：對(duì)上下文的強(qiáng)調(diào) - BERT：從解碼器到編碼器 |
|
1. 注意力機(jī)制 Attention - Seq-to-Seq 架構(gòu)的核心 - 簡(jiǎn)單的 machine translation with attention: NMT - Neural Machine Translation - R-NET: MSRA 的 attention-based 閱讀理解模型 - Neural Turning Machine - Attention 的擴(kuò)展應(yīng)用：原理、實(shí)現(xiàn) |
|
2. Attention is All You Need - 注意力模型的“終極版” - 架構(gòu)、原理和實(shí)現(xiàn) - 和“傳統(tǒng)” Attention 模型的比較 |
|
3. 變形金剛 Transformer - 例子：句子分類 - 模型架構(gòu) - 與卷積網(wǎng)絡(luò)的異同 - Embedding 的新時(shí)代 - 變形金剛：超越 LSTM |
|
4. ELMo 和 BERT 模型 - ELMo：對(duì)上下文的強(qiáng)調(diào) - BERT：從解碼器到編碼器 |
近期公開(kāi)課推薦
