課程簡介

本課程全面深入地解析大模型技術(shù)，從基礎(chǔ)理論到前沿應(yīng)用，幫助學(xué)員構(gòu)建大模型的完整知識(shí)體系。通過系統(tǒng)講解幫助學(xué)員掌握大模型的核心技術(shù)。課程還涵蓋了提示工程、CoT與Agent技術(shù)的原理與實(shí)踐，講解大模型微調(diào)、RLHF方法、分布式訓(xùn)練技術(shù)等前沿知識(shí)，進(jìn)一步鞏固技術(shù)棧。此外，學(xué)員將通過實(shí)戰(zhàn)環(huán)節(jié)，親手搭建大模型RAG系統(tǒng)，并學(xué)習(xí)推理加速方法和量化技術(shù)，最終掌握大模型在企業(yè)中的落地與應(yīng)用。課程特別適合技術(shù)團(tuán)隊(duì)、AI從業(yè)者及企業(yè)負(fù)責(zé)人，幫助學(xué)員在AI技術(shù)領(lǐng)域得到提升，協(xié)助企業(yè)挖掘大模型應(yīng)用場景及商業(yè)化模式。

目標(biāo)收益

培訓(xùn)對(duì)象

課程內(nèi)容

第一天上午
大模型基礎(chǔ)概述（90分鐘）
1、介紹人工智能生成創(chuàng)作（AIGC）領(lǐng)域的基本概念、應(yīng)用和發(fā)展趨勢，相關(guān)場景及算法基礎(chǔ)邏輯介紹
2、大模型基礎(chǔ)技術(shù)概述，介紹深度學(xué)習(xí)相關(guān)基礎(chǔ)與Transformers系列介紹
大模型提示工程（60分鐘）
1、介紹大模型提示工程原理，簡述CoT相關(guān)技術(shù)鏈
2、模型中的提示詞設(shè)計(jì)及優(yōu)化技巧
3、多場景提示詞設(shè)計(jì)介紹
大模型中的Agent技術(shù)（30分鐘）
1、CoT基礎(chǔ)原理介紹
2、Agent基礎(chǔ)概述、主要模塊與決策機(jī)制
第一天下午
主流開源語言大模型介紹與領(lǐng)域大模型簡述（120分鐘）
1、主流大模型介紹，如GLM、Llama、bloom、MOSS、Baichuan、Qwen、Skywork等
2、領(lǐng)域大模型介紹——法律、醫(yī)療、金融、教育等領(lǐng)域大模型介紹
大模型中的RLHF（60分鐘）
1、簡述模型中的獎(jiǎng)勵(lì)模型，包括介紹獎(jiǎng)勵(lì)模型基礎(chǔ)、數(shù)據(jù)設(shè)計(jì)及模型訓(xùn)練方法
2、強(qiáng)化學(xué)習(xí)基礎(chǔ)介紹，PPO算法代碼與原理詳解、
3、前沿偏好對(duì)齊算法介紹——RRHF、RLAIF、DPO、APO等
第二天上午
大語言模的數(shù)據(jù)構(gòu)造與SFT（90分鐘）
1、大模型中的數(shù)據(jù)構(gòu)造與清洗方法綜合介紹
2、常用參數(shù)微調(diào)方法——Prefix Tuning、P-Tuning、LoRA
3、介紹分布式訓(xùn)練方法與常見分布式框架
大模型微調(diào)（30分鐘）
以問數(shù)場景為例，進(jìn)行大模型訓(xùn)練微調(diào)實(shí)戰(zhàn)
大模型中的推理加速（60分鐘）
1、介紹大模型推理加速中的量化方法
2、介紹常用大模型推理加速框架——vLLM、FastLLM、Slang等
第二天下午
大模型與RAG（60分鐘）
1、介紹RAG相關(guān)原理
2、向量數(shù)據(jù)庫介紹——Faiss、Milvus、Pinecone、Weaviate等
3、介紹RAG應(yīng)用場景及相關(guān)技巧
大模型RAG搭建（30分鐘）
1、LangChain框架及概念介紹
搭建大模型RAG
大模型企業(yè)落地案例解析（60分鐘）
1、大模型企業(yè)落地場景介紹，包括智能問答、知識(shí)庫、知識(shí)圖譜于大模型融合案例等
2、大模型應(yīng)用落地案例分享
答疑與交流（30分鐘）