課程簡(jiǎn)介
課程主要分為三個(gè)模塊,第一天主要介紹了大模型的一系列基礎(chǔ)內(nèi)容以及對(duì)于日常生活中的應(yīng)用,第二天主要介紹多模態(tài)技術(shù)背景和實(shí)踐場(chǎng)景,最后一天主要是對(duì)于agent平臺(tái)的落地。從理論到實(shí)踐,全方面介紹關(guān)于大模型的技巧,使得學(xué)員通過(guò)這三天學(xué)習(xí)能夠搭建一個(gè)屬于自己的agent平臺(tái)
目標(biāo)收益
培訓(xùn)對(duì)象
課程大綱
模塊一:大模型基礎(chǔ)(第一天) 理論向(上午):大模型技術(shù)背景與應(yīng)用介紹 |
1.熱身暖場(chǎng):自我介紹&引子(chatGPT的前世今生) 2. 大模型業(yè)界前沿產(chǎn)品與公司 a. 大模型應(yīng)用行業(yè)地圖(工具向 & 娛樂(lè)向) b. 基礎(chǔ)類(lèi)大模型應(yīng)用(chatGPT、豆包 等) c. 辦公泛工具類(lèi)(AI-PPT、效率、創(chuàng)意) d. 垂直場(chǎng)景類(lèi) 2B 應(yīng)用(客服、營(yíng)銷(xiāo)、培訓(xùn)等) e. 情感陪伴類(lèi) C 端應(yīng)用(星野、talkie、筑夢(mèng)島等) f. 金融大模型場(chǎng)景實(shí)踐(咨詢(xún)問(wèn)答、售前客服、安全風(fēng)控) 3. 大模型的能力演進(jìn)與現(xiàn)實(shí)邊界:探討大模型的技術(shù)能力和前沿進(jìn)化方向。 a. 閉源模型概覽(chatGPT、Claude、Gemini、kimi 等) b. 國(guó)外開(kāi)源大模型概覽(llama、Grok、Mistral、Gemma 等) c. 國(guó)內(nèi)開(kāi)源大模型概覽(通義千問(wèn)、百川、智譜、deepseek 等) d. 生活中的大模型:以搜索應(yīng)用為例(秘塔貓、Kimi、Perplexity 等) 4. 多模態(tài)能力與業(yè)界前沿產(chǎn)品介紹 a. 多模態(tài)應(yīng)用行業(yè)地圖(工具向 & 娛樂(lè)向) b. 基礎(chǔ)類(lèi)視覺(jué)圖片應(yīng)用(美圖、稿定、MJ 等) c. 基礎(chǔ)類(lèi)視頻應(yīng)用(Runway、Pika、Pixelverse & 快手可靈、LumaAI) d. 營(yíng)銷(xiāo)類(lèi)產(chǎn)品應(yīng)用(妙思、輕舸、來(lái)畫(huà) ) e. AI+行業(yè)(教育/醫(yī)療/硬件 等) 5. 互動(dòng):自由問(wèn)答 |
實(shí)踐向(下午):大模型在公司的應(yīng)用路徑 |
1. 大模型應(yīng)用開(kāi)發(fā)實(shí)踐范式(整體開(kāi)發(fā)流程介紹) a. 技術(shù)路線(xiàn)選型 b. 落地實(shí)踐路徑 c. 團(tuán)隊(duì)構(gòu)成與資源準(zhǔn)備 d. 模型安全、模型備案 2. 大模型落地失敗的一百種可能性(介紹當(dāng)下哪些能力具備,而哪些能力不具備) 3. 提示詞工程的最佳實(shí)踐【實(shí)踐-prompt】 a. 基于結(jié)構(gòu)化 prompt b. 基于 CoT 的 prompt 優(yōu)化 c. 基于 RAG 的領(lǐng)域能力提升 d. 基于 functionCall 的專(zhuān)業(yè)能力提升 e. 實(shí)例演示:自助問(wèn)答系統(tǒng) 4. 互動(dòng):自由問(wèn)答,幫助聽(tīng)眾結(jié)合自身場(chǎng)景,通過(guò)修改 Prompt 構(gòu)造方法,基于 RAG 技術(shù), 產(chǎn)出對(duì)應(yīng)領(lǐng)域問(wèn)答 Bot |
模塊二:多模態(tài)基礎(chǔ)(第二天) 理論向(上午):多模態(tài)技術(shù)背景與應(yīng)用介紹 |
1.熱身暖場(chǎng):自我介紹&引子(Sora/LumaAI/多模態(tài)效果展示) 2. 生成式 AI 與多模態(tài)技術(shù)背景:探討生成模型類(lèi)型、工作原理及應(yīng)用場(chǎng)景,包括文本、圖像、 視頻生成等。 a. 多模態(tài)大模型技術(shù)(性能、價(jià)格、速度) b. 圖片可控生產(chǎn)技術(shù)(填充、涂抹、增強(qiáng)) c. Sora 類(lèi)視頻化技術(shù)(運(yùn)動(dòng)、實(shí)體一致性、3D 化) d. ASR、有聲、音樂(lè)技術(shù)(情感、旋律、音質(zhì)) e. 虛擬人、具身智能與基礎(chǔ)算力服務(wù) 3. 拆解高質(zhì)量 AI 視頻生產(chǎn)用到了哪些多模態(tài)工具 a. 創(chuàng)意文案部分:劇本與創(chuàng)意模板提示詞; b. 圖片部分:可控重繪、高質(zhì)超分、插幀渲染 等; c. 視頻部分:SVD、Dreamina、Runway 等; d. 音樂(lè)部分:Suno、韻律模型、聲音克隆 等; e. 整體合成:市場(chǎng)成本、實(shí)際成本; 4. 互動(dòng):自由問(wèn)答 |
實(shí)踐向(下午):大模型+多模態(tài)在公司的應(yīng)用路徑 |
1. AI 應(yīng)用開(kāi)發(fā)實(shí)踐范式(整體開(kāi)發(fā)流程介紹) 2. 落地技術(shù)選型(提示詞工程、開(kāi)源模型微調(diào)與私有化部署) 3. 開(kāi)發(fā)資源與團(tuán)隊(duì)構(gòu)成(人員配置、開(kāi)發(fā)工具、業(yè)務(wù)場(chǎng)景發(fā)現(xiàn)) 4. 當(dāng)前內(nèi)部應(yīng)用示例(垂類(lèi)模型、可控生圖、規(guī)模化成本) 5. 圖像實(shí)踐: a. 文生圖:Lora 概念與常用推薦、提示詞書(shū)寫(xiě)規(guī)則 等; b. 圖生圖:關(guān)鍵詞反推、局部重繪、畫(huà)風(fēng)轉(zhuǎn)化 等; c. ControlNet:插件原理、字體設(shè)計(jì)、AI 模特服裝 等; 6. 自我實(shí)踐高質(zhì)量素材(演示): a. 打造自有工作流 b. 創(chuàng)意:如何基于 ChatGPT 輸出創(chuàng)意 c. 圖片:如何基于 ComfyUI 輸出圖片 d. 視頻:如何基于 Dremina 輸出視頻 e. 聲音:如何基于 chatTTS 輸出音頻 f. 音樂(lè):如何基于 Suno 輸出背景音樂(lè) 7. SD-WebUI 實(shí)踐展示 |
模塊三:Agent 平臺(tái)與實(shí)踐落地(第三天) 理論(上午):Agent 原理與概要 |
1. 從 GPTs 到 AI Agent 2. AI Agent 工具概覽 3. AI Agent 在外部公司落地效果 a. Agent for 金融(資訊總結(jié)、文檔生成、合規(guī)審查 等) b. Agent for 營(yíng)銷(xiāo)(圖像加工、視頻創(chuàng)意、風(fēng)格轉(zhuǎn)換 等) c. Aegnt for 客服(多輪問(wèn)詢(xún)、音頻控制、服務(wù)提供 等) 4. 核心功能介紹 a. 插件系統(tǒng) b. 知識(shí)庫(kù)與數(shù)據(jù)庫(kù) c. 工作流與圖像流 5. 業(yè)務(wù)場(chǎng)景討論與 QA a. 需求挖掘:自有行業(yè)痛點(diǎn)、其他行業(yè)智能化爆點(diǎn) b. 能力準(zhǔn)備:創(chuàng)意、思想實(shí)驗(yàn)、用戶(hù)視角、智能化專(zhuān)家+行業(yè)專(zhuān)家 c. 計(jì)劃書(shū)交付:背景+聯(lián)接+創(chuàng)意+探索+突破→結(jié)果展望 |
實(shí)踐(下午):Agent 平臺(tái)實(shí)踐指導(dǎo) |
1.實(shí)踐 Dify/Coze 類(lèi) Agent 平臺(tái)(以 Coze 為例): a. 簡(jiǎn)介:Workflow 工作流與調(diào)試 介紹; b. 初試:快速創(chuàng)建與標(biāo)準(zhǔn)創(chuàng)建; c. 驗(yàn)證:打造帶 Function Call 能力的 Agent(創(chuàng)建 Bot 與使用插件); d. 多模態(tài):Coze 圖像流 操作手冊(cè); e. 場(chǎng)景實(shí)踐(金融領(lǐng)域知識(shí)問(wèn)答、圖文工作流 等); 2. 互動(dòng): a. 自由問(wèn)答 b. 分組練習(xí):結(jié)合自己工作提報(bào)的業(yè)務(wù)特點(diǎn)進(jìn)行智能體建模。 |
模塊一:大模型基礎(chǔ)(第一天) 理論向(上午):大模型技術(shù)背景與應(yīng)用介紹 1.熱身暖場(chǎng):自我介紹&引子(chatGPT的前世今生) 2. 大模型業(yè)界前沿產(chǎn)品與公司 a. 大模型應(yīng)用行業(yè)地圖(工具向 & 娛樂(lè)向) b. 基礎(chǔ)類(lèi)大模型應(yīng)用(chatGPT、豆包 等) c. 辦公泛工具類(lèi)(AI-PPT、效率、創(chuàng)意) d. 垂直場(chǎng)景類(lèi) 2B 應(yīng)用(客服、營(yíng)銷(xiāo)、培訓(xùn)等) e. 情感陪伴類(lèi) C 端應(yīng)用(星野、talkie、筑夢(mèng)島等) f. 金融大模型場(chǎng)景實(shí)踐(咨詢(xún)問(wèn)答、售前客服、安全風(fēng)控) 3. 大模型的能力演進(jìn)與現(xiàn)實(shí)邊界:探討大模型的技術(shù)能力和前沿進(jìn)化方向。 a. 閉源模型概覽(chatGPT、Claude、Gemini、kimi 等) b. 國(guó)外開(kāi)源大模型概覽(llama、Grok、Mistral、Gemma 等) c. 國(guó)內(nèi)開(kāi)源大模型概覽(通義千問(wèn)、百川、智譜、deepseek 等) d. 生活中的大模型:以搜索應(yīng)用為例(秘塔貓、Kimi、Perplexity 等) 4. 多模態(tài)能力與業(yè)界前沿產(chǎn)品介紹 a. 多模態(tài)應(yīng)用行業(yè)地圖(工具向 & 娛樂(lè)向) b. 基礎(chǔ)類(lèi)視覺(jué)圖片應(yīng)用(美圖、稿定、MJ 等) c. 基礎(chǔ)類(lèi)視頻應(yīng)用(Runway、Pika、Pixelverse & 快手可靈、LumaAI) d. 營(yíng)銷(xiāo)類(lèi)產(chǎn)品應(yīng)用(妙思、輕舸、來(lái)畫(huà) ) e. AI+行業(yè)(教育/醫(yī)療/硬件 等) 5. 互動(dòng):自由問(wèn)答 |
實(shí)踐向(下午):大模型在公司的應(yīng)用路徑 1. 大模型應(yīng)用開(kāi)發(fā)實(shí)踐范式(整體開(kāi)發(fā)流程介紹) a. 技術(shù)路線(xiàn)選型 b. 落地實(shí)踐路徑 c. 團(tuán)隊(duì)構(gòu)成與資源準(zhǔn)備 d. 模型安全、模型備案 2. 大模型落地失敗的一百種可能性(介紹當(dāng)下哪些能力具備,而哪些能力不具備) 3. 提示詞工程的最佳實(shí)踐【實(shí)踐-prompt】 a. 基于結(jié)構(gòu)化 prompt b. 基于 CoT 的 prompt 優(yōu)化 c. 基于 RAG 的領(lǐng)域能力提升 d. 基于 functionCall 的專(zhuān)業(yè)能力提升 e. 實(shí)例演示:自助問(wèn)答系統(tǒng) 4. 互動(dòng):自由問(wèn)答,幫助聽(tīng)眾結(jié)合自身場(chǎng)景,通過(guò)修改 Prompt 構(gòu)造方法,基于 RAG 技術(shù), 產(chǎn)出對(duì)應(yīng)領(lǐng)域問(wèn)答 Bot |
模塊二:多模態(tài)基礎(chǔ)(第二天) 理論向(上午):多模態(tài)技術(shù)背景與應(yīng)用介紹 1.熱身暖場(chǎng):自我介紹&引子(Sora/LumaAI/多模態(tài)效果展示) 2. 生成式 AI 與多模態(tài)技術(shù)背景:探討生成模型類(lèi)型、工作原理及應(yīng)用場(chǎng)景,包括文本、圖像、 視頻生成等。 a. 多模態(tài)大模型技術(shù)(性能、價(jià)格、速度) b. 圖片可控生產(chǎn)技術(shù)(填充、涂抹、增強(qiáng)) c. Sora 類(lèi)視頻化技術(shù)(運(yùn)動(dòng)、實(shí)體一致性、3D 化) d. ASR、有聲、音樂(lè)技術(shù)(情感、旋律、音質(zhì)) e. 虛擬人、具身智能與基礎(chǔ)算力服務(wù) 3. 拆解高質(zhì)量 AI 視頻生產(chǎn)用到了哪些多模態(tài)工具 a. 創(chuàng)意文案部分:劇本與創(chuàng)意模板提示詞; b. 圖片部分:可控重繪、高質(zhì)超分、插幀渲染 等; c. 視頻部分:SVD、Dreamina、Runway 等; d. 音樂(lè)部分:Suno、韻律模型、聲音克隆 等; e. 整體合成:市場(chǎng)成本、實(shí)際成本; 4. 互動(dòng):自由問(wèn)答 |
實(shí)踐向(下午):大模型+多模態(tài)在公司的應(yīng)用路徑 1. AI 應(yīng)用開(kāi)發(fā)實(shí)踐范式(整體開(kāi)發(fā)流程介紹) 2. 落地技術(shù)選型(提示詞工程、開(kāi)源模型微調(diào)與私有化部署) 3. 開(kāi)發(fā)資源與團(tuán)隊(duì)構(gòu)成(人員配置、開(kāi)發(fā)工具、業(yè)務(wù)場(chǎng)景發(fā)現(xiàn)) 4. 當(dāng)前內(nèi)部應(yīng)用示例(垂類(lèi)模型、可控生圖、規(guī)模化成本) 5. 圖像實(shí)踐: a. 文生圖:Lora 概念與常用推薦、提示詞書(shū)寫(xiě)規(guī)則 等; b. 圖生圖:關(guān)鍵詞反推、局部重繪、畫(huà)風(fēng)轉(zhuǎn)化 等; c. ControlNet:插件原理、字體設(shè)計(jì)、AI 模特服裝 等; 6. 自我實(shí)踐高質(zhì)量素材(演示): a. 打造自有工作流 b. 創(chuàng)意:如何基于 ChatGPT 輸出創(chuàng)意 c. 圖片:如何基于 ComfyUI 輸出圖片 d. 視頻:如何基于 Dremina 輸出視頻 e. 聲音:如何基于 chatTTS 輸出音頻 f. 音樂(lè):如何基于 Suno 輸出背景音樂(lè) 7. SD-WebUI 實(shí)踐展示 |
模塊三:Agent 平臺(tái)與實(shí)踐落地(第三天) 理論(上午):Agent 原理與概要 1. 從 GPTs 到 AI Agent 2. AI Agent 工具概覽 3. AI Agent 在外部公司落地效果 a. Agent for 金融(資訊總結(jié)、文檔生成、合規(guī)審查 等) b. Agent for 營(yíng)銷(xiāo)(圖像加工、視頻創(chuàng)意、風(fēng)格轉(zhuǎn)換 等) c. Aegnt for 客服(多輪問(wèn)詢(xún)、音頻控制、服務(wù)提供 等) 4. 核心功能介紹 a. 插件系統(tǒng) b. 知識(shí)庫(kù)與數(shù)據(jù)庫(kù) c. 工作流與圖像流 5. 業(yè)務(wù)場(chǎng)景討論與 QA a. 需求挖掘:自有行業(yè)痛點(diǎn)、其他行業(yè)智能化爆點(diǎn) b. 能力準(zhǔn)備:創(chuàng)意、思想實(shí)驗(yàn)、用戶(hù)視角、智能化專(zhuān)家+行業(yè)專(zhuān)家 c. 計(jì)劃書(shū)交付:背景+聯(lián)接+創(chuàng)意+探索+突破→結(jié)果展望 |
實(shí)踐(下午):Agent 平臺(tái)實(shí)踐指導(dǎo) 1.實(shí)踐 Dify/Coze 類(lèi) Agent 平臺(tái)(以 Coze 為例): a. 簡(jiǎn)介:Workflow 工作流與調(diào)試 介紹; b. 初試:快速創(chuàng)建與標(biāo)準(zhǔn)創(chuàng)建; c. 驗(yàn)證:打造帶 Function Call 能力的 Agent(創(chuàng)建 Bot 與使用插件); d. 多模態(tài):Coze 圖像流 操作手冊(cè); e. 場(chǎng)景實(shí)踐(金融領(lǐng)域知識(shí)問(wèn)答、圖文工作流 等); 2. 互動(dòng): a. 自由問(wèn)答 b. 分組練習(xí):結(jié)合自己工作提報(bào)的業(yè)務(wù)特點(diǎn)進(jìn)行智能體建模。 |