課程簡介

本課程通過深入的技術講解和實戰(zhàn)演練，全面覆蓋大模型的各個核心技術領域。課程從AIGC基礎知識入手，逐步深入到大模型提示工程、數(shù)據(jù)構造與清洗、參數(shù)微調(diào)等技術。在進階環(huán)節(jié)，學員將學習到大模型中的RLHF、分布式訓練方法、推理加速技術等，并探索多模態(tài)大模型的前沿應用。課程還包含RAG技術、大模型微淘及應用等多個項目實戰(zhàn)。此外，通過一系列企業(yè)案例分析，學員將了解如何將大模型成功落地到智能問答、知識圖譜等實際場景中。通過理論與實戰(zhàn)的結(jié)合，課程旨在幫助學員提升在大模型開發(fā)、優(yōu)化與落地應用中的綜合能力。課程特別適合技術團隊、AI從業(yè)者及企業(yè)負責人，幫助學員在AI技術領域得到提升，幫助企業(yè)挖掘業(yè)務場景，探索并交流大模型項目交付的技巧與經(jīng)驗。

目標收益

培訓對象

課程內(nèi)容

第一天上午
大模型基礎概述（90分鐘）
1、介紹人工智能生成創(chuàng)作（AIGC）領域的基本概念、應用和發(fā)展趨勢，相關場景及算法基礎邏輯介紹
2、大模型基礎技術概述，介紹深度學習相關基礎與Transformers系列介紹
大模型提示工程（60分鐘）
1、介紹大模型提示工程原理，簡述CoT相關技術鏈
2、模型中的提示詞設計及優(yōu)化技巧
3、多場景提示詞設計介紹
大模型調(diào)用方法（30分鐘）
1、類OpenAI大模型接口介紹與實戰(zhàn)
第一天下午
主流開源語言大模型介紹與領域大模型簡述（120分鐘）
1、主流大模型介紹，如GLM、Llama、bloom、MOSS、Baichuan、Qwen、Skywork等
2、領域大模型介紹——法律、醫(yī)療、金融、教育等領域大模型介紹
大模型中的RLHF（60分鐘）
1、簡述模型中的獎勵模型，包括介紹獎勵模型基礎、數(shù)據(jù)設計及模型訓練方法
2、強化學習基礎介紹，PPO算法代碼與原理詳解、
3、前沿偏好對齊算法介紹——RRHF、RLAIF、DPO、APO等
第二天上午
大語言模的數(shù)據(jù)構造與SFT（90分鐘）
1、大模型中的數(shù)據(jù)構造與清洗方法綜合介紹
2、常用參數(shù)微調(diào)方法——Prefix Tuning、P-Tuning、LoRA
3、微調(diào)方法進階——DyLoRA、AdaLoRA、QLoRA、QALoRA、LongLoRA、VERA、S-LoRA
分布式訓練方法（60分鐘）
1、介紹當前常用的模型分布式計算方法，詳細介紹數(shù)據(jù)并行、向量并行、流式并行的多種并行策略等
2、介紹常見的分布式訓練框架，如Megatron、DeepSpeed、Colossal-AI、FairScale等分布式訓練框架介紹
3、DeepSpeed框架詳述，介紹ZeRO-1、ZeRO-2、ZeRO-3多種分布式策略
大模型微調(diào)（30分鐘）
以問數(shù)場景為例，進行大模型訓練微調(diào)實戰(zhàn)
第二天下午
大模型中的Agent技術（60分鐘）
1、CoT基礎原理介紹
2、Agent基礎概述、主要模塊與決策機制
3、主流Agent框架介紹——LlamaIndex框架、AutoGPT框架、AutoGen框架、SuperAGI框架
多模態(tài)大模型中的文生圖技術（90分鐘）
1、基于文本生成圖像的算法和模型介紹：介紹文本到圖像的生成模型，文本生成圖像方法，如DALL?E、CLIP、GLIDE、DALL?E 2等模型介紹
2、介紹大模型的圖片生成文本技術的核心原理
3、介紹主流圖片生成文本大模型——QwenVL系列、Intern-VL系列等
多模態(tài)大模型應用（30分鐘）
以表格解析為應用場景，進行多模態(tài)大模型應用
第三天上午
大模型中的推理加速（60分鐘）
1、介紹大模型推理加速中的量化方法
2、介紹常用大模型推理加速框架——vLLM、FastLLM、Slang等
大模型與RAG（90分鐘）
1、介紹RAG相關原理
2、向量數(shù)據(jù)庫介紹——Faiss、Milvus、Pinecone、Weaviate等
3、介紹RAG應用場景及相關技巧
大模型RAG搭建（30分鐘）
1、LangChain框架及概念介紹
搭建大模型RAG
大模型企業(yè)落地案例解析（90分鐘）
1、大模型企業(yè)落地場景介紹，包括智能問答、知識庫、知識圖譜于大模型融合案例等
2、大模型應用落地案例分享
分組頭腦風暴（互動）（60分鐘）
設計面向大模型的企業(yè)應用場景
答疑與交流（30分鐘）