課程簡介

理解 Data + AI 的核心概念、架構(gòu)和優(yōu)勢。
掌握構(gòu)建 Data + AI 應(yīng)用的關(guān)鍵技術(shù)，包括數(shù)據(jù)工程、機器學(xué)習(xí)、深度學(xué)習(xí)和模型部署。
學(xué)習(xí)如何在數(shù)據(jù)平臺上集成 AI 能力，實現(xiàn)智能化的數(shù)據(jù)處理和分析。
掌握Data + AI 的相關(guān)應(yīng)用場景和最佳實踐
能夠構(gòu)建自己的 Data + AI 原型系統(tǒng)，并解決實際業(yè)務(wù)問題。
了解在數(shù)據(jù)分析中運用 LLM 大語言模型
理解智能風(fēng)控，智能運維等案例

目標(biāo)收益

培訓(xùn)對象

數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家、機器學(xué)習(xí)工程師、數(shù)據(jù)分析師、以及對 Data + AI 感興趣的技術(shù)人員。

課程內(nèi)容

第一天：Data + AI 基礎(chǔ)與數(shù)據(jù)工程
?模塊 1：Data + AI 概述 (上午)
o什么是 Data + AI？定義、目標(biāo)和優(yōu)勢
oData + AI 的核心理念：數(shù)據(jù)驅(qū)動、智能決策、自動化流程
oData + AI 的應(yīng)用場景：智能推薦、預(yù)測分析、自然語言處理、圖像識別
oData + AI 的架構(gòu)與核心組件：數(shù)據(jù)源、數(shù)據(jù)平臺、AI引擎、應(yīng)用服務(wù)
?模塊 2：數(shù)據(jù)工程 (上午)
o數(shù)據(jù)工程的定義與目標(biāo)：構(gòu)建可靠、高效的數(shù)據(jù)管道
o數(shù)據(jù)工程的核心任務(wù)：數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)存儲
o數(shù)據(jù)工程的技術(shù)選型：ETL工具、數(shù)據(jù)倉庫、數(shù)據(jù)湖、數(shù)據(jù)治理
o動手實踐：構(gòu)建數(shù)據(jù)管道，從多個數(shù)據(jù)源采集數(shù)據(jù)
?模塊 3：數(shù)據(jù)湖與數(shù)據(jù)倉庫 (下午)
o數(shù)據(jù)湖與數(shù)據(jù)倉庫的對比：結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)
o數(shù)據(jù)湖的架構(gòu)與特點：靈活存儲、Schema-on-Read、低成本
o數(shù)據(jù)倉庫的架構(gòu)與特點：結(jié)構(gòu)化存儲、Schema-on-Write、高性能查詢
o湖倉一體 (Lakehouse) 的優(yōu)勢：結(jié)合數(shù)據(jù)湖的靈活性和數(shù)據(jù)倉庫的性能
o動手實踐：在云平臺上搭建數(shù)據(jù)湖或數(shù)據(jù)倉庫
?模塊 4：數(shù)據(jù)治理 (下午)
o數(shù)據(jù)治理的定義與目標(biāo)：確保數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)合規(guī)
o數(shù)據(jù)治理的核心任務(wù)：元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理
o數(shù)據(jù)治理的技術(shù)選型：數(shù)據(jù)目錄、數(shù)據(jù)血緣、數(shù)據(jù)脫敏、訪問控制
o動手實踐：實施數(shù)據(jù)治理策略，保障數(shù)據(jù)質(zhì)量和安全
第二天：機器學(xué)習(xí)與深度學(xué)習(xí)
?模塊 5：機器學(xué)習(xí)基礎(chǔ) (上午)
o機器學(xué)習(xí)的定義與類型：監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)
o常用的機器學(xué)習(xí)算法：線性回歸、邏輯回歸、決策樹、支持向量機(SVM)、K均值聚類
o模型評估指標(biāo)：準(zhǔn)確率、召回率、F1值、AUC
o使用Python和Scikit-learn構(gòu)建簡單的機器學(xué)習(xí)模型
o動手實踐：使用Scikit-learn構(gòu)建一個簡單的分類模型
?模塊 6：深度學(xué)習(xí)基礎(chǔ) (上午)
o深度學(xué)習(xí)的定義與特點：多層神經(jīng)網(wǎng)絡(luò)、自動特征提取
o常用的深度學(xué)習(xí)算法：卷積神經(jīng)網(wǎng)絡(luò) (CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN)、Transformer
o深度學(xué)習(xí)的應(yīng)用場景：圖像識別、自然語言處理、語音識別
o使用TensorFlow或PyTorch構(gòu)建簡單的深度學(xué)習(xí)模型
o動手實踐：使用TensorFlow構(gòu)建一個簡單的圖像分類模型
?模塊 7：自然語言處理 (NLP) (下午)
oNLP的基礎(chǔ)概念：詞向量、文本分類、情感分析、命名實體識別
oNLP在Data + AI中的應(yīng)用：
?文本數(shù)據(jù)分析：客戶評論分析、輿情分析、文本挖掘
?智能報告生成：自動生成報告摘要、關(guān)鍵發(fā)現(xiàn)
?自然語言查詢 (NL2SQL)：使用自然語言進行數(shù)據(jù)查詢
o使用Transformers庫進行自然語言處理
o動手實踐：使用NLP工具進行文本數(shù)據(jù)分析
?模塊 8：推薦系統(tǒng) (下午)
o推薦系統(tǒng)的定義與目標(biāo)：個性化推薦、提升用戶體驗
o常用的推薦算法：
?協(xié)同過濾 (Collaborative Filtering)
?基于內(nèi)容的推薦 (Content-Based Recommendation)
?深度學(xué)習(xí)推薦模型 (Deep Learning Recommendation Model)
o使用TensorFlow或PyTorch構(gòu)建簡單的推薦系統(tǒng)
o動手實踐：構(gòu)建一個基于協(xié)同過濾的推薦系統(tǒng)
第三天：Data + AI 應(yīng)用案例與實踐 (選擇性學(xué)習(xí))
?模塊 9： Data + AI應(yīng)用案例學(xué)習(xí)與分析(根據(jù)實際情況選擇)
o案例1：基于AI的智能推薦系統(tǒng)
o案例2：基于NLP的智能客服機器人
o案例3：基于圖像識別的智能質(zhì)檢系統(tǒng)
o案例4：基于時間序列預(yù)測的智能風(fēng)控系統(tǒng)
o案例5：基于Data + AI 的智能運維系統(tǒng)
o案例分析：技術(shù)架構(gòu)、實現(xiàn)步驟、挑戰(zhàn)與解決方案
o動手實踐：將現(xiàn)有程序進行Data + AI 能力強化改造
?模塊 10： LLM 在 Data + AI 的應(yīng)用 (實踐學(xué)習(xí))
o探索 LLM (大型語言模型)在數(shù)據(jù)分析領(lǐng)域的應(yīng)用場景
o利用 LLM 進行數(shù)據(jù)清洗，數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)增強
o利用 LLM 生成和優(yōu)化數(shù)據(jù)分析代碼，例如 SQL 代碼
o利用 LLM 進行數(shù)據(jù)可視化，輔助數(shù)據(jù)洞察
o動手實踐：使用 OpenAI API 和 Langchain 自動生成數(shù)據(jù)質(zhì)量檢測規(guī)則，并進行數(shù)據(jù)探索
?模塊 11-13 (三選一)：高級 Data + AI 主題
o(A) 強化學(xué)習(xí)在 Data + AI 中的應(yīng)用
?強化學(xué)習(xí)算法：Q-learning, SARSA, DQN, PPO
?環(huán)境建模與獎勵函數(shù)設(shè)計
?智能體訓(xùn)練與優(yōu)化
o(B) 圖神經(jīng)網(wǎng)絡(luò)在Data + AI 中的應(yīng)用
?圖神經(jīng)網(wǎng)絡(luò)的架構(gòu)、應(yīng)用場景、訓(xùn)練技巧
?知識圖譜的構(gòu)建與應(yīng)用
o(C) Data + AI 的安全與隱私高級議題
?差分隱私
?聯(lián)邦學(xué)習(xí)
?多方安全計算
o動手實踐：選擇自己感興趣的高級方向進行實戰(zhàn)編碼
?模塊 12：Data + AI 的未來展望
oData + AI 的未來發(fā)展趨勢：
?自動化機器學(xué)習(xí) (AutoML)
?可解釋AI (XAI)
?聯(lián)邦學(xué)習(xí) (Federated Learning)
o開放討論：學(xué)員分享對Data + AI 未來發(fā)展的看法
o分享 Data + AI 相關(guān)項目經(jīng)驗以及踩坑經(jīng)驗
第四天（可選）：Data + AI 項目實戰(zhàn)
?模塊 13：Data + AI 項目選題與需求分析
o介紹Data + AI 的一些典型應(yīng)用場景， 并根據(jù)場景和項目難易程度劃分
o根據(jù)實際情況，選擇Data + AI的結(jié)合點，并確定項目目標(biāo)
o根據(jù)目標(biāo)確定項目評估指標(biāo)和結(jié)果報告
?模塊 14：Data + AI 項目架構(gòu)設(shè)計與具體實現(xiàn)
o學(xué)習(xí)Data + AI 結(jié)合的項目流程，例如：數(shù)據(jù)采集，數(shù)據(jù)提取，數(shù)據(jù)清洗， 特征提取，模型訓(xùn)練，結(jié)果可視化
oData + AI 項目代碼編寫和代碼測試
?模塊 15：Data + AI 項目測試及報告生成
o測試Data + AI 模型，并且給出報告及改進建議
?模塊 16：Data + AI 項目部署
o學(xué)習(xí)如何部署Data + AI 模型到不同的平臺以及注意事項
?可選：分組進行Data + AI 項目實戰(zhàn)
o以小組形式，模擬真實Data + AI 項目的開發(fā)過程
工具與技術(shù)：
?數(shù)據(jù)湖存儲：AWS S3, Azure Blob Storage, Google Cloud Storage, Delta Lake, Apache Iceberg, Apache Hudi
?數(shù)據(jù)倉庫：Snowflake, Amazon Redshift, Google BigQuery
?數(shù)據(jù)計算：Apache Spark, Presto, Trino, Flink
?數(shù)據(jù)集成：Apache Kafka, Apache NiFi, AWS Kinesis, Azure Event Hubs, Google Cloud Dataflow
?機器學(xué)習(xí)：Scikit-learn, TensorFlow, PyTorch
?LLM 相關(guān)： OpenAI API, Langchain
?API調(diào)用：RESTful API
?數(shù)據(jù)可視化：Tableau, Power BI, Grafana
?云平臺：AWS, Azure, Google Cloud