課程簡介
課程結合開源離線大模型，全面講述并帶領學員搭建大模型環(huán)境，結合企業(yè)實際，通過CV、語音與NLP大模型實現(xiàn)業(yè)務需求，如智能客服，財務報表識別，合規(guī)檢查等。
目標收益
1.理解大模型核心原理，模型訓練和優(yōu)化策略
2.掌握設計有效提示詞，以及提示詞工程優(yōu)化實踐
3.掌握OLlama搭建方法，以及3種調用大模型方式
4.掌握常用大模型推理參數(shù)微調方法
5.掌握CV、語音和NLP 大模型在各種業(yè)務場景中的應用
6.結合上機實踐，調用DeepSeek，llama-vision，Qwen，stable-diffusion，whisper等大模型
培訓對象
IT項目管理人員：負責IT項目的整體規(guī)劃、協(xié)調與管理，需要了解如何利用DeepSeek等大模型技術提升項目效能。
軟件開發(fā)工程師：從事軟件開發(fā)工作，希望通過學習大模型技術提升開發(fā)效率和代碼質量。
測試工程師：負責軟件測試工作，需要掌握如何利用大模型技術進行自動化測試和缺陷檢測。
數(shù)據(jù)分析師：從事數(shù)據(jù)分析工作，需要學習如何利用大模型技術進行數(shù)據(jù)挖掘和趨勢分析。
運維工程師：負責系統(tǒng)運維工作，需要了解如何利用大模型技術實現(xiàn)智能化運維和故障診斷。
AI工程師：從事人工智能相關工作，需要深入學習大模型的訓練、優(yōu)化和應用。
課程大綱
|
【大語言模型核心技術與應用】 ~ 2.5小時 一、AI大模型與應用典型問題分析 |
1.問題分析 2.討論 |
| 二、大語言模型技術 |
1.AI技術概覽 2.AI技術的四要素 3.AI模型的研發(fā)流程 4.深度學習與神經(jīng)網(wǎng)絡 5.大語言模型的定義和特點 6.大語言模型技術演變簡史 7.大語言模型訓練方法和優(yōu)化技術 8.大模型面臨的挑戰(zhàn) |
| 三、大語言模型Transformer核心技術 |
1.Transformer核心原理 2.Self-Attention 3.多頭注意力機制 4.位置前饋網(wǎng)絡 5.殘差連接和層歸一化 6.位置編碼 7.解碼器 8.Mask（掩碼） 9.最后的線性層和 Softmax 層 10.正則化操作 11.模型參數(shù)量 |
| 四、大模型結果優(yōu)化策略 |
1.溫度微調 2.使用top-k/top-p采樣 3.增加上下文信息 4.模型后處理 5.大模型微調 6.多模型融合 7.【案例】生產(chǎn)環(huán)境數(shù)據(jù)抽檢評測 8.【案例】badcase分析與優(yōu)化推薦 |
| 五、主流大模型介紹~文文 |
1.文生文-llamma 2.文生文-Qwen 3.文生文-Deepseek |
| 六、主流大模型介紹~文圖 |
1.圖生文-Llava 2.圖生文-llama-vision 3.文生圖-stable-diffusion 4.文生視頻- CogVideoX 5.視頻生文- VideoChat |
| 七、主流大模型介紹~文音 |
1.文生語音-chatTTS 2.語音生文- whisper |
|
【大模型部署實踐與提示詞工程】 ~ 2小時 一、OLlama部署應用 |
1.OLlama簡介 2.模型參數(shù) 3.網(wǎng)絡安全隔離 4.部署OLlama環(huán)境 5.OLlama常用操作命令 6.離線模型CLI接口 7.模型API接口 8.API調用方式 9.UI調試界面 10.模型微調 11.【案例】實現(xiàn)離線大模型人機對話 |
| 二、上機實踐 |
1.OLlama部署 2.Qwen2.5模型部署 3.常用命令操作 4.3種方式調用大模型練習 |
| 三、提示詞工程 |
1.什么是提示詞工程？ 2.提示詞原理 3.如何設計有效提示詞 4.提示詞的基本結構 4.1.1.指令 4.1.2.上下文 4.1.3.輸入數(shù)據(jù) 4.1.4.輸出格式 4.1.5.示例 5.提示詞優(yōu)化方案 6.【案例】提示詞返回精準答案 |
| 四、提示詞庫與腳本調用大模型 |
1.維護提示詞庫 2.關鍵詞匹配 3.開發(fā)腳本調用大模型 4.【案例】一鍵式調用大模型 |
| 五、上機實踐 |
1.提示詞優(yōu)化練習 2.運行一鍵式調用大模型 |
|
【知識庫體系搭建與RAG 】~ 1小時 一、Dify概述與主要功能 |
1.Dify平臺概述 2.Dify的核心功能與優(yōu)勢 3.Dify與其他平臺對比 4.低代碼/無代碼開發(fā)模式 |
| 二、RAG概述 |
1.什么是RAG 2.RAG 架構 3.檢索模塊 4.生成模塊 5.融合模塊 |
| 三、構建本地知識庫 |
1.什么是知識庫 2.向量數(shù)據(jù)庫 3.使用Embedding模型將文本轉換為數(shù)值向量 4.導入文本 |
| 四、上機實踐 |
1.導入本地知識庫 2.創(chuàng)建AI agent 3.【案例】DeepSeek實現(xiàn)智能對話 |
|
【CV圖像大模型賦能效能提升應用 】~ 2小時 一、財務報表關鍵信息提取 |
1.OCR概述 2.OCR技術原理 3.【案例】利用大模型進行報表關鍵信息提取 |
| 二、圖像內容理解 |
1.提示詞優(yōu)化 2.llama-vision大模型技術原理 3.【案例】圖像理解 |
| 三、異常交易行為監(jiān)測 |
1.異常交易規(guī)則設定 2.【案例】異常交易監(jiān)測 |
| 四、圖像生成 |
1.提示詞優(yōu)化 2.stable-diffusion大模型技術原理 3.【案例】利用大模型生成圖像 |
| 五、圖表生成 |
1.基于數(shù)據(jù)輸入自動生成折線圖 2.基于輸入數(shù)據(jù)自動生成柱狀圖 3.【案例】利用Dify工具生成圖表 |
| 六、上機實踐 |
1.使用Llava和llama-vision實現(xiàn)圖生文調用 2.使用stable-diffusion實現(xiàn)文生圖調用 |
|
【CV視頻大模型賦能效能提升應用】 ~ 1小時 一、視頻內容理解 |
1.視頻理解大模型技術原理 2.VideoChat應用 3.【案例】OPEC會議/企業(yè)財報發(fā)布會的視頻理解 4.【案例】衛(wèi)星/無人機視頻分析與期貨趨勢預測 |
| 二、視頻生成 |
1.視頻生成大模型技術原理 2.CogVideoX應用 3.【案例】大模型生成投資者教育視頻 |
| 三、上機實踐 |
1.使用VideoChat實現(xiàn)文生視頻調用 2.使用CogVideoX實現(xiàn)視頻生文調用 |
|
【NLP大模型賦能效能提升應用】~ 4小時 一、DeepSeek概述 |
1.DeepSeek簡介 2.DeepSeek架構與原理 3.DeepSeek優(yōu)勢 4.DeepSeek不足 5.如何部署DeepSeek 【案例】本地調用DeepSeek |
| 二、網(wǎng)頁爬蟲與摘要提取 |
1.什么是爬蟲 2.通過API工具調用爬蟲 3.AI摘要提取 【案例】實現(xiàn)信息爬取并獲取摘要 |
| 三、AI機器翻譯 |
1.AI翻譯的基本原理 2.使用大模型進行翻譯 3.對翻譯內容進行優(yōu)化 【案例】實現(xiàn)信息中英文互譯 |
| 四、智能客服 |
1.基本內容問答 2.知識庫增強檢索RAG 【案例】智能客服應用搭建 |
| 五、輿情分析 |
1.輿情類型 2.【案例】文本情感分類 【案例】多模態(tài)進行輿情分析 |
| 六、趨勢挖掘 |
1.大數(shù)據(jù)挖掘 2.趨勢分析 【案例】大模型進行趨勢預判與挖掘 |
| 七、風險識別 |
1.風險類型定義 【案例】利用大模型進行風險識別 |
| 八、合規(guī)檢查 |
1.敏感信息與行為庫 【案例】利用大模型進行合規(guī)檢查 |
| 九、上機實踐 | 使用Qwen和Deepseek實現(xiàn)以上場景的文生文調用與優(yōu)化 |
|
【自定義工具與AI智能體集成】~ 0.5小時 Dify自定義工具 |
1.自定義工具創(chuàng)建流程 2.Xinference概述 3.利用Xinference啟動本地離線大模型 4.Dify集成Xinference模型服務 5.Dify創(chuàng)建自定義工具 6.Workflow調用自定義工具 7.【案例】Dify內置常用工具 【案例】AI語音識別集成至Dify |
|
【語音大模型賦能效能提升應用】～1小時 一、視頻中語音識別 |
1.ASR大模型技術原理 2.音頻提取方法 3.ffmpeg提取音頻 4.利用whisper進行語音識別 5.利用Deepseek進行識別后文字自動修正 【案例】投資視頻提取文案整理 |
| 二、語音合成 |
1.TTS大模型技術原理 2.音色與語速選擇 3.chatTTS-ui部署與應用 【案例】chatTTS實現(xiàn)語音合成 |
| 三、上機實踐 |
1.視頻中語音識別 2.搭建AI智能體進行語音識別并優(yōu)化結果 |
|
【大模型在DevOps領域的應用】 ~ 3.5小時 一、大模型在CICD中應用 |
大模型在全鏈路CICD中應用 |
| 二、代碼理解與重構建議 |
1.代碼重構概述 2.通過DeepSeek進行代碼解釋 3.通過DeepSeek進行代碼重構 【案例】代碼重構效果對比 |
| 三、缺陷檢測與代碼審查 |
1.Code review概述 2.Code review結果解析 3.Code review結果推送 【案例】DeepSeek進行自動化code review |
| 四、白盒測試代碼自動化生成 |
1.DeepSeek生成java單元測試代碼 2.進行自動化單元測試執(zhí)行 3.優(yōu)化單元測試代碼 【案例】白盒測試集成至CI流水線 |
| 五、研發(fā)自測自動化用例生成 |
1.生成自動化測試腳本 2.【案例】DeepSeek自動生成自動化用例 【案例】自動化用例集成至CI流水線 |
| 六、代碼缺陷修復 |
1.常見代碼缺陷類型 2.通過DeepSeek進行代碼缺陷修復 【案例】代碼缺陷自動化檢查 |
| 七、UI自動化測試用例生成 |
1.優(yōu)化提示詞 【案例】DeepSeek生成selenium自動化測試用例腳本 |
| 八、代碼質量評估 |
1.代碼質量評價維度 2.開發(fā)代碼質量評估腳本 【案例】DeepSeek實現(xiàn)提交代碼分鐘級質量評估反饋 |
| 九、上機實踐 |
1.DeepSeek進行代碼分析 2.DeepSeek進行代碼自動化生成 |
| 十、智能化運維自動化實踐 |
1.DeepSeek生成Jenkins groovy腳本構建CI pipeline 2.根據(jù)歷史數(shù)據(jù)做流量預測 3.智能告警與預警 4.監(jiān)控圖像分析與理解 5.智能故障診斷 6.智能故障自愈 |
| 十一、智能化運維降本增效實踐 |
1.Docker file掃描優(yōu)化實踐 2.動態(tài)縮擴容實踐 3.存儲優(yōu)化實踐 4.機器資源配比優(yōu)化實踐 |
| 十二、智能錯誤定位 |
1.日志等級與規(guī)范 2.分析錯誤日志 3.【案例】通過DeepSeek進行錯誤自動化定位 【案例】通過Llama進行監(jiān)控圖像異常分析 |
|
【大語言模型核心技術與應用】 ~ 2.5小時 一、AI大模型與應用典型問題分析 1.問題分析 2.討論 |
|
二、大語言模型技術 1.AI技術概覽 2.AI技術的四要素 3.AI模型的研發(fā)流程 4.深度學習與神經(jīng)網(wǎng)絡 5.大語言模型的定義和特點 6.大語言模型技術演變簡史 7.大語言模型訓練方法和優(yōu)化技術 8.大模型面臨的挑戰(zhàn) |
|
三、大語言模型Transformer核心技術 1.Transformer核心原理 2.Self-Attention 3.多頭注意力機制 4.位置前饋網(wǎng)絡 5.殘差連接和層歸一化 6.位置編碼 7.解碼器 8.Mask（掩碼） 9.最后的線性層和 Softmax 層 10.正則化操作 11.模型參數(shù)量 |
|
四、大模型結果優(yōu)化策略 1.溫度微調 2.使用top-k/top-p采樣 3.增加上下文信息 4.模型后處理 5.大模型微調 6.多模型融合 7.【案例】生產(chǎn)環(huán)境數(shù)據(jù)抽檢評測 8.【案例】badcase分析與優(yōu)化推薦 |
|
五、主流大模型介紹~文文 1.文生文-llamma 2.文生文-Qwen 3.文生文-Deepseek |
|
六、主流大模型介紹~文圖 1.圖生文-Llava 2.圖生文-llama-vision 3.文生圖-stable-diffusion 4.文生視頻- CogVideoX 5.視頻生文- VideoChat |
|
七、主流大模型介紹~文音 1.文生語音-chatTTS 2.語音生文- whisper |
|
【大模型部署實踐與提示詞工程】 ~ 2小時 一、OLlama部署應用 1.OLlama簡介 2.模型參數(shù) 3.網(wǎng)絡安全隔離 4.部署OLlama環(huán)境 5.OLlama常用操作命令 6.離線模型CLI接口 7.模型API接口 8.API調用方式 9.UI調試界面 10.模型微調 11.【案例】實現(xiàn)離線大模型人機對話 |
|
二、上機實踐 1.OLlama部署 2.Qwen2.5模型部署 3.常用命令操作 4.3種方式調用大模型練習 |
|
三、提示詞工程 1.什么是提示詞工程？ 2.提示詞原理 3.如何設計有效提示詞 4.提示詞的基本結構 4.1.1.指令 4.1.2.上下文 4.1.3.輸入數(shù)據(jù) 4.1.4.輸出格式 4.1.5.示例 5.提示詞優(yōu)化方案 6.【案例】提示詞返回精準答案 |
|
四、提示詞庫與腳本調用大模型 1.維護提示詞庫 2.關鍵詞匹配 3.開發(fā)腳本調用大模型 4.【案例】一鍵式調用大模型 |
|
五、上機實踐 1.提示詞優(yōu)化練習 2.運行一鍵式調用大模型 |
|
【知識庫體系搭建與RAG 】~ 1小時 一、Dify概述與主要功能 1.Dify平臺概述 2.Dify的核心功能與優(yōu)勢 3.Dify與其他平臺對比 4.低代碼/無代碼開發(fā)模式 |
|
二、RAG概述 1.什么是RAG 2.RAG 架構 3.檢索模塊 4.生成模塊 5.融合模塊 |
|
三、構建本地知識庫 1.什么是知識庫 2.向量數(shù)據(jù)庫 3.使用Embedding模型將文本轉換為數(shù)值向量 4.導入文本 |
|
四、上機實踐 1.導入本地知識庫 2.創(chuàng)建AI agent 3.【案例】DeepSeek實現(xiàn)智能對話 |
|
【CV圖像大模型賦能效能提升應用 】~ 2小時 一、財務報表關鍵信息提取 1.OCR概述 2.OCR技術原理 3.【案例】利用大模型進行報表關鍵信息提取 |
|
二、圖像內容理解 1.提示詞優(yōu)化 2.llama-vision大模型技術原理 3.【案例】圖像理解 |
|
三、異常交易行為監(jiān)測 1.異常交易規(guī)則設定 2.【案例】異常交易監(jiān)測 |
|
四、圖像生成 1.提示詞優(yōu)化 2.stable-diffusion大模型技術原理 3.【案例】利用大模型生成圖像 |
|
五、圖表生成 1.基于數(shù)據(jù)輸入自動生成折線圖 2.基于輸入數(shù)據(jù)自動生成柱狀圖 3.【案例】利用Dify工具生成圖表 |
|
六、上機實踐 1.使用Llava和llama-vision實現(xiàn)圖生文調用 2.使用stable-diffusion實現(xiàn)文生圖調用 |
|
【CV視頻大模型賦能效能提升應用】 ~ 1小時 一、視頻內容理解 1.視頻理解大模型技術原理 2.VideoChat應用 3.【案例】OPEC會議/企業(yè)財報發(fā)布會的視頻理解 4.【案例】衛(wèi)星/無人機視頻分析與期貨趨勢預測 |
|
二、視頻生成 1.視頻生成大模型技術原理 2.CogVideoX應用 3.【案例】大模型生成投資者教育視頻 |
|
三、上機實踐 1.使用VideoChat實現(xiàn)文生視頻調用 2.使用CogVideoX實現(xiàn)視頻生文調用 |
|
【NLP大模型賦能效能提升應用】~ 4小時 一、DeepSeek概述 1.DeepSeek簡介 2.DeepSeek架構與原理 3.DeepSeek優(yōu)勢 4.DeepSeek不足 5.如何部署DeepSeek 【案例】本地調用DeepSeek |
|
二、網(wǎng)頁爬蟲與摘要提取 1.什么是爬蟲 2.通過API工具調用爬蟲 3.AI摘要提取 【案例】實現(xiàn)信息爬取并獲取摘要 |
|
三、AI機器翻譯 1.AI翻譯的基本原理 2.使用大模型進行翻譯 3.對翻譯內容進行優(yōu)化 【案例】實現(xiàn)信息中英文互譯 |
|
四、智能客服 1.基本內容問答 2.知識庫增強檢索RAG 【案例】智能客服應用搭建 |
|
五、輿情分析 1.輿情類型 2.【案例】文本情感分類 【案例】多模態(tài)進行輿情分析 |
|
六、趨勢挖掘 1.大數(shù)據(jù)挖掘 2.趨勢分析 【案例】大模型進行趨勢預判與挖掘 |
|
七、風險識別 1.風險類型定義 【案例】利用大模型進行風險識別 |
|
八、合規(guī)檢查 1.敏感信息與行為庫 【案例】利用大模型進行合規(guī)檢查 |
|
九、上機實踐 使用Qwen和Deepseek實現(xiàn)以上場景的文生文調用與優(yōu)化 |
|
【自定義工具與AI智能體集成】~ 0.5小時 Dify自定義工具 1.自定義工具創(chuàng)建流程 2.Xinference概述 3.利用Xinference啟動本地離線大模型 4.Dify集成Xinference模型服務 5.Dify創(chuàng)建自定義工具 6.Workflow調用自定義工具 7.【案例】Dify內置常用工具 【案例】AI語音識別集成至Dify |
|
【語音大模型賦能效能提升應用】～1小時 一、視頻中語音識別 1.ASR大模型技術原理 2.音頻提取方法 3.ffmpeg提取音頻 4.利用whisper進行語音識別 5.利用Deepseek進行識別后文字自動修正 【案例】投資視頻提取文案整理 |
|
二、語音合成 1.TTS大模型技術原理 2.音色與語速選擇 3.chatTTS-ui部署與應用 【案例】chatTTS實現(xiàn)語音合成 |
|
三、上機實踐 1.視頻中語音識別 2.搭建AI智能體進行語音識別并優(yōu)化結果 |
|
【大模型在DevOps領域的應用】 ~ 3.5小時 一、大模型在CICD中應用 大模型在全鏈路CICD中應用 |
|
二、代碼理解與重構建議 1.代碼重構概述 2.通過DeepSeek進行代碼解釋 3.通過DeepSeek進行代碼重構 【案例】代碼重構效果對比 |
|
三、缺陷檢測與代碼審查 1.Code review概述 2.Code review結果解析 3.Code review結果推送 【案例】DeepSeek進行自動化code review |
|
四、白盒測試代碼自動化生成 1.DeepSeek生成java單元測試代碼 2.進行自動化單元測試執(zhí)行 3.優(yōu)化單元測試代碼 【案例】白盒測試集成至CI流水線 |
|
五、研發(fā)自測自動化用例生成 1.生成自動化測試腳本 2.【案例】DeepSeek自動生成自動化用例 【案例】自動化用例集成至CI流水線 |
|
六、代碼缺陷修復 1.常見代碼缺陷類型 2.通過DeepSeek進行代碼缺陷修復 【案例】代碼缺陷自動化檢查 |
|
七、UI自動化測試用例生成 1.優(yōu)化提示詞 【案例】DeepSeek生成selenium自動化測試用例腳本 |
|
八、代碼質量評估 1.代碼質量評價維度 2.開發(fā)代碼質量評估腳本 【案例】DeepSeek實現(xiàn)提交代碼分鐘級質量評估反饋 |
|
九、上機實踐 1.DeepSeek進行代碼分析 2.DeepSeek進行代碼自動化生成 |
|
十、智能化運維自動化實踐 1.DeepSeek生成Jenkins groovy腳本構建CI pipeline 2.根據(jù)歷史數(shù)據(jù)做流量預測 3.智能告警與預警 4.監(jiān)控圖像分析與理解 5.智能故障診斷 6.智能故障自愈 |
|
十一、智能化運維降本增效實踐 1.Docker file掃描優(yōu)化實踐 2.動態(tài)縮擴容實踐 3.存儲優(yōu)化實踐 4.機器資源配比優(yōu)化實踐 |
|
十二、智能錯誤定位 1.日志等級與規(guī)范 2.分析錯誤日志 3.【案例】通過DeepSeek進行錯誤自動化定位 【案例】通過Llama進行監(jiān)控圖像異常分析 |
近期公開課推薦
