課程簡介

本課程是一個面向企業(yè)的大語言模型技術(shù)實踐培訓(xùn)，為期一天，整合了大模型領(lǐng)域的前沿技術(shù)與落地經(jīng)驗。上午課程重點介紹大模型基礎(chǔ)理論與技術(shù)框架，包括AIGC發(fā)展趨勢、主流開源模型、知識圖譜基礎(chǔ)及數(shù)據(jù)構(gòu)造清洗等核心內(nèi)容；下午聚焦實踐應(yīng)用，深入探討高效參數(shù)調(diào)優(yōu)方法、分布式訓(xùn)練策略及企業(yè)級落地案例。課程特別關(guān)注 GLM、Llama、Baichuan 等主流開源模型，并結(jié)合法律、醫(yī)療、金融等垂直領(lǐng)域應(yīng)用實踐。通過理論與案例相結(jié)合的方式，幫助學(xué)員全面掌握大模型技術(shù)在企業(yè)環(huán)境中的實際應(yīng)用能力，為企業(yè)智能化轉(zhuǎn)型提供專業(yè)指導(dǎo)。

目標收益

培訓(xùn)對象

課程內(nèi)容

第一天-上午
1. 課程開場與大模型綜述（0.5h）
對大模型的概述，介紹課程的目標和預(yù)期的學(xué)習成果。
介紹人工智能生成創(chuàng)作（AIGC）領(lǐng)域的基本概念、應(yīng)用和發(fā)展趨勢，相關(guān)場景及算法基礎(chǔ)邏輯介紹
2. 大模型基礎(chǔ)與主流開源語言大模型介紹（1.5h）
大語言模型中的Tokenizer介紹，介紹BPE、WordPiece、Unigram等分詞方法
主流大模型介紹，如GLM、Llama、bloom、MOSS、Baichuan、Qwen、Skywork等
領(lǐng)域大模型介紹——法律、醫(yī)療、金融、教育等領(lǐng)域大模型介紹
大型語言模型評估——內(nèi)容評估、評估方法及評估榜單
3. 知識圖譜基礎(chǔ)與大模型（0.5h）
介紹知識圖譜相關(guān)基礎(chǔ)，知識圖譜構(gòu)建方法、圖數(shù)據(jù)庫以及知識圖譜相關(guān)概念
主流大模型介紹，如GLM、Llama、bloom、MOSS、Baichuan、Qwen、Skywork等
知識圖譜與大模型結(jié)合方法
4 . 大語言模中的數(shù)據(jù)構(gòu)造與清洗（0.5h）
大模型中的數(shù)據(jù)構(gòu)造與清洗方法綜合介紹
介紹基于Self-instruct的數(shù)據(jù)構(gòu)造方法、介紹面向結(jié)構(gòu)化知識的數(shù)據(jù)構(gòu)造方法
數(shù)據(jù)清洗方法介紹——IFD指標法、MoDS方法等
第一天-下午
1 . 大語言模中的高效參數(shù)調(diào)優(yōu)方法（1.5h）
常用參數(shù)微調(diào)方法——Prefix Tuning、P-Tuning、LoRA
大模型分布式訓(xùn)練基礎(chǔ)介紹，簡述當前常用的模型分布式計算方法細介紹數(shù)據(jù)并行、向量并行、流式并行的多種并行策略等
DeepSpeed框架簡述述，介紹ZeRO-1、ZeRO-2、ZeRO-3多種分布式策略
2.大模型企業(yè)落地案例詳述（0.5h）
大模型企業(yè)落地場景介紹，包括智能問答、知識庫、知識圖譜于大模型融合案例等
大模型行業(yè)應(yīng)用分析，場景化落地，包括合同審核、問答等場景
3.問答與交流（1h）
行業(yè)落地及項目交流