課程簡介
課程講授人是從事深度學(xué)習(xí)項目管理的人員，帶隊完成了數(shù)十個AI項目，內(nèi)容不僅包括深度學(xué)習(xí)、機器學(xué)習(xí)、數(shù)據(jù)挖掘等具體技術(shù)要點，也包括AI的整體發(fā)展、現(xiàn)狀、應(yīng)用、商業(yè)價值、未來方向等，涵蓋內(nèi)容非常豐富。
鄒偉，長春工業(yè)大學(xué)人工智能研究院院長，工程學(xué)術(shù)帶頭人、華東建筑設(shè)計研究總院研究員、山東交通學(xué)院客座教授、南昌航空大學(xué)碩士生導(dǎo)師、中國軟件行業(yè)協(xié)會專家委員、上海市計劃生育科學(xué)研究所特聘專家、天津大學(xué)創(chuàng)業(yè)導(dǎo)師、中華中醫(yī)藥學(xué)會會員、中國醫(yī)藥教育協(xié)會老年運動與健康分會學(xué)術(shù)委員；領(lǐng)導(dǎo)睿客邦與全國二十多所高校、國企建立了AI聯(lián)合實驗室，完成50多個深度學(xué)習(xí)實踐項目，廣泛應(yīng)用于醫(yī)療、交通、農(nóng)業(yè)、氣象、銀行、電信等多個領(lǐng)域。
目標收益
1，整體把握機器學(xué)習(xí)、深度學(xué)習(xí)、數(shù)據(jù)挖掘的發(fā)展方向
2，了解機器學(xué)習(xí)、深度學(xué)習(xí)、計算機視覺的技術(shù)框架
3，理解機器學(xué)習(xí)和深度學(xué)習(xí)的思維方式和關(guān)鍵技術(shù)
4，了解深度學(xué)習(xí)和機器學(xué)習(xí)在當(dāng)前工業(yè)界的落地應(yīng)用
5，了解AI頂會論文和最新技術(shù)熱點
培訓(xùn)對象
課程大綱
| 第一節(jié)：多模態(tài)模型 |
?編碼器、解碼器 ?自注意力機制 ??Transformer?、?Mask Multi-Head Attention ?特定于任務(wù)的輸入轉(zhuǎn)換 ?無監(jiān)督預(yù)訓(xùn)練、有監(jiān)督 Fine-tuning ?GPT2：多任務(wù)系統(tǒng) ?GPT3：少樣本、零樣本學(xué)習(xí) ?meta-learning（元學(xué)習(xí)）和in-context learning（基于上下文的學(xué)習(xí)） ?實戰(zhàn)：高考作文神器（writeGPT） 安裝環(huán)境：OpenCV, Pandas，Regex?，Numpy?，Requests? 攝像頭讀題、EAST文本檢測、 通順度判斷 作文生成 ?實戰(zhàn)：古詩詞GPT（chineseGPT） 散文生成、詩詞模型、對聯(lián)模型、文言文模型 |
| 第二節(jié)：從GPT3到chatGPT |
?監(jiān)督微調(diào)（SFT）模型、 ?指示學(xué)習(xí)和提示學(xué)習(xí) ?簡單提示、小樣本提示、基于用戶的提示 ?指令微調(diào) ?RLLHF技術(shù)詳解（從人類的反饋中學(xué)習(xí)） ?聚合問答數(shù)據(jù)訓(xùn)練獎勵模型（RM） ?強化學(xué)習(xí)微調(diào)、PPO、 ??InstructGPT遵循用戶意圖使用強化學(xué)習(xí)方案 ?Instruct Learning vs. Prompt Learning ?ChatGPT增加增加了Chat屬性 ?AI 系統(tǒng)的新范式 ?GPT1-GPT2-GPT3-InstructGPT的-chatGPT的技術(shù)關(guān)系 ?實戰(zhàn)：使用chatGPT打造你的私人聊天助理（revchatGPT） ?實戰(zhàn)：演示提示詞技巧，翻譯器潤色器、JavaScript 控制臺?、Excel Sheet ?實戰(zhàn)：網(wǎng)站定制chatgpt-web ?安裝環(huán)境pnpm |
| 第三節(jié)：生成模型AutoGPT等實戰(zhàn) |
環(huán)境: VSCode + devcontainer:、Docker、Python 3.10? ?配置OpenAI的API ?配置谷歌API/ ?配置Pinecone API ?安裝插件 ?Milvus設(shè)置 ?實戰(zhàn)： 小助理, 完成代辦事項列表中的任務(wù) 幫助進行市場調(diào)研，并撰寫最佳產(chǎn)品摘要 生成一個 GPT-4 代理來完成添加到待辦事項列表中的任何任務(wù) 自行閱讀近期發(fā)生的事件自行總結(jié)并且撰寫播客內(nèi)容 自行寫博客 化身24小時智能客服 |
| 第四節(jié)：大模型中的強化學(xué)習(xí) |
強化學(xué)習(xí)核心機制 深度學(xué)習(xí)和強化學(xué)習(xí)的結(jié)合 強化學(xué)習(xí)是“左右互搏”之術(shù)嗎？ SARSA和Q-Learning 時序差分簡介、TD目標值 / TD 誤差 DP/MC/TD對比 在線策略TD：Sarsa算法 離線策略TD：Q-learning算法 表格型強化學(xué)習(xí)/函數(shù)近似型強化學(xué)習(xí) 線性逼近/非線性逼近? 值函數(shù)逼近的Sarsa算法 值函數(shù)逼近的Q-learning算法 人工神經(jīng)網(wǎng)絡(luò)（卷積、池化、全連接） DQN方法 Double DQN方法 Dueling DQN方法 DQN、Double DQN AlphaGo在其中起的作用 策略梯度PG和PPO算法 RLHF：從人類的反饋中學(xué)習(xí)（經(jīng)典論文學(xué)習(xí)） 再看 InstructGPT遵循用戶意圖使用強化學(xué)習(xí)方案 |
| 第五節(jié)：擴散模型 |
GAN-VAE-流模型-擴散模型的技術(shù)發(fā)展和變化 CLIP和擴散模型的結(jié)合：基于CLIP模型的多模態(tài)引導(dǎo)圖像生成：圖文引導(dǎo) GLIDE：文本引導(dǎo) Diffusion-CLIP模型 擴散和去噪(Diffusion&Denoise) 訓(xùn)練和采樣(Training&Sampling) 離散步驟的馬爾可夫鏈 分子熱動力學(xué)的擴散過程 離散加噪 DDPM-最經(jīng)典的擴散模型 DDIM：加速采樣、可控擴散 IVLR：迭代去燥的圖像編輯，低通濾波上采樣 RePaint: 被掩碼的區(qū)域進行擴散生成 代碼和案例實踐一： 低質(zhì)量噪聲圖像修復(fù) 精確復(fù)原原圖 圖像去除遮擋、圖像補全 圖像生成（人物恢復(fù)青春、人物變瘦） 第二節(jié)： 引導(dǎo)擴散模型-圖文引導(dǎo)圖像生成 圖像引導(dǎo)、文本引導(dǎo)、圖像+文本引導(dǎo) CLIP和擴散模型的結(jié)合：基于CLIP模型的多模態(tài)引導(dǎo)圖像生成：圖文引導(dǎo) GLIDE：文本引導(dǎo) DALL·E 2：diffusion model和CLIP結(jié)合在一起 隱式分類器引導(dǎo)的圖像生成 Blended Diffusioni模型 Diffusion-CLIP模型 DiffEdit模型 分別實現(xiàn)圖像引導(dǎo)、文字引導(dǎo)、圖文引導(dǎo)下的圖片生成 Diffusion LM 本人在央企數(shù)字化轉(zhuǎn)型中的實踐體會 知識圖譜-圖網(wǎng)絡(luò)等“邊緣技術(shù)”在AIGC中的應(yīng)用 AIGC的可能應(yīng)用領(lǐng)域和行業(yè)影響 |
|
第一節(jié)：多模態(tài)模型 ?編碼器、解碼器 ?自注意力機制 ??Transformer?、?Mask Multi-Head Attention ?特定于任務(wù)的輸入轉(zhuǎn)換 ?無監(jiān)督預(yù)訓(xùn)練、有監(jiān)督 Fine-tuning ?GPT2：多任務(wù)系統(tǒng) ?GPT3：少樣本、零樣本學(xué)習(xí) ?meta-learning（元學(xué)習(xí)）和in-context learning（基于上下文的學(xué)習(xí)） ?實戰(zhàn)：高考作文神器（writeGPT） 安裝環(huán)境：OpenCV, Pandas，Regex?，Numpy?，Requests? 攝像頭讀題、EAST文本檢測、 通順度判斷 作文生成 ?實戰(zhàn)：古詩詞GPT（chineseGPT） 散文生成、詩詞模型、對聯(lián)模型、文言文模型 |
|
第二節(jié)：從GPT3到chatGPT ?監(jiān)督微調(diào)（SFT）模型、 ?指示學(xué)習(xí)和提示學(xué)習(xí) ?簡單提示、小樣本提示、基于用戶的提示 ?指令微調(diào) ?RLLHF技術(shù)詳解（從人類的反饋中學(xué)習(xí)） ?聚合問答數(shù)據(jù)訓(xùn)練獎勵模型（RM） ?強化學(xué)習(xí)微調(diào)、PPO、 ??InstructGPT遵循用戶意圖使用強化學(xué)習(xí)方案 ?Instruct Learning vs. Prompt Learning ?ChatGPT增加增加了Chat屬性 ?AI 系統(tǒng)的新范式 ?GPT1-GPT2-GPT3-InstructGPT的-chatGPT的技術(shù)關(guān)系 ?實戰(zhàn)：使用chatGPT打造你的私人聊天助理（revchatGPT） ?實戰(zhàn)：演示提示詞技巧，翻譯器潤色器、JavaScript 控制臺?、Excel Sheet ?實戰(zhàn)：網(wǎng)站定制chatgpt-web ?安裝環(huán)境pnpm |
|
第三節(jié)：生成模型AutoGPT等實戰(zhàn) 環(huán)境: VSCode + devcontainer:、Docker、Python 3.10? ?配置OpenAI的API ?配置谷歌API/ ?配置Pinecone API ?安裝插件 ?Milvus設(shè)置 ?實戰(zhàn)： 小助理, 完成代辦事項列表中的任務(wù) 幫助進行市場調(diào)研，并撰寫最佳產(chǎn)品摘要 生成一個 GPT-4 代理來完成添加到待辦事項列表中的任何任務(wù) 自行閱讀近期發(fā)生的事件自行總結(jié)并且撰寫播客內(nèi)容 自行寫博客 化身24小時智能客服 |
|
第四節(jié)：大模型中的強化學(xué)習(xí) 強化學(xué)習(xí)核心機制 深度學(xué)習(xí)和強化學(xué)習(xí)的結(jié)合 強化學(xué)習(xí)是“左右互搏”之術(shù)嗎？ SARSA和Q-Learning 時序差分簡介、TD目標值 / TD 誤差 DP/MC/TD對比 在線策略TD：Sarsa算法 離線策略TD：Q-learning算法 表格型強化學(xué)習(xí)/函數(shù)近似型強化學(xué)習(xí) 線性逼近/非線性逼近? 值函數(shù)逼近的Sarsa算法 值函數(shù)逼近的Q-learning算法 人工神經(jīng)網(wǎng)絡(luò)（卷積、池化、全連接） DQN方法 Double DQN方法 Dueling DQN方法 DQN、Double DQN AlphaGo在其中起的作用 策略梯度PG和PPO算法 RLHF：從人類的反饋中學(xué)習(xí)（經(jīng)典論文學(xué)習(xí)） 再看 InstructGPT遵循用戶意圖使用強化學(xué)習(xí)方案 |
|
第五節(jié)：擴散模型 GAN-VAE-流模型-擴散模型的技術(shù)發(fā)展和變化 CLIP和擴散模型的結(jié)合：基于CLIP模型的多模態(tài)引導(dǎo)圖像生成：圖文引導(dǎo) GLIDE：文本引導(dǎo) Diffusion-CLIP模型 擴散和去噪(Diffusion&Denoise) 訓(xùn)練和采樣(Training&Sampling) 離散步驟的馬爾可夫鏈 分子熱動力學(xué)的擴散過程 離散加噪 DDPM-最經(jīng)典的擴散模型 DDIM：加速采樣、可控擴散 IVLR：迭代去燥的圖像編輯，低通濾波上采樣 RePaint: 被掩碼的區(qū)域進行擴散生成 代碼和案例實踐一： 低質(zhì)量噪聲圖像修復(fù) 精確復(fù)原原圖 圖像去除遮擋、圖像補全 圖像生成（人物恢復(fù)青春、人物變瘦） 第二節(jié)： 引導(dǎo)擴散模型-圖文引導(dǎo)圖像生成 圖像引導(dǎo)、文本引導(dǎo)、圖像+文本引導(dǎo) CLIP和擴散模型的結(jié)合：基于CLIP模型的多模態(tài)引導(dǎo)圖像生成：圖文引導(dǎo) GLIDE：文本引導(dǎo) DALL·E 2：diffusion model和CLIP結(jié)合在一起 隱式分類器引導(dǎo)的圖像生成 Blended Diffusioni模型 Diffusion-CLIP模型 DiffEdit模型 分別實現(xiàn)圖像引導(dǎo)、文字引導(dǎo)、圖文引導(dǎo)下的圖片生成 Diffusion LM 本人在央企數(shù)字化轉(zhuǎn)型中的實踐體會 知識圖譜-圖網(wǎng)絡(luò)等“邊緣技術(shù)”在AIGC中的應(yīng)用 AIGC的可能應(yīng)用領(lǐng)域和行業(yè)影響 |
近期公開課推薦
