課程簡介
隨著近些年在全世界范圍內(nèi)的AI浪潮，各個公司都開始組建自身的AI團(tuán)隊并利用AI能力來擴(kuò)展自身業(yè)務(wù)，由此行業(yè)中對于熟悉AI系統(tǒng)并能給出詳細(xì)測試方案的測試人員有著迫切的需求。本課程會使用簡單易懂的方式，從人工智能的原理作為切入點，拆解人工智能系統(tǒng)的各個組成部分，并詳解講解每一個部分的測試方案。本課程的特點在于從技術(shù)角度出發(fā)分析在人工智能系統(tǒng)中，測試人員應(yīng)該如何開展測試活動以及為什么要這樣開展，結(jié)合技術(shù)理論與實踐，講透人工智能的主流場景。 這其中包含了傳統(tǒng)的機(jī)器學(xué)習(xí)， 也包含了使用深度學(xué)習(xí)構(gòu)建的計算機(jī)視覺應(yīng)用。 包含了利用Spark這樣的分布式計算技術(shù)來構(gòu)建和處理測試數(shù)據(jù)，也包含了使用ffmpeg+opencv這樣的圖像處理技術(shù)來構(gòu)建計算機(jī)視覺的測試場景。
目標(biāo)收益
1. 人工智能的算法原理，設(shè)計過程以及構(gòu)建成一個完整的人工智能系統(tǒng)都需要哪些組件以及對應(yīng)的設(shè)計。
2. 從個測試人工智能的模型的方法開始，講解到一個完整的人工智能系統(tǒng)的方方面面的測試方案。
3. 學(xué)習(xí)以spark為例講解在人工智能系統(tǒng)中，如何構(gòu)建和處理測試數(shù)據(jù)。
4. 學(xué)習(xí)以ffmpeg+opencv為基礎(chǔ)如何在計算機(jī)視覺場景中構(gòu)建和處理測試數(shù)據(jù)。
5. 以yolo為例，講解如何在使用人工智能來輔助測試人工智能系統(tǒng)。
培訓(xùn)對象
在人工智能背景下工作的測試人員，或者對人工智能感興趣的技術(shù)人員
課程大綱
| L1. 人工智能基礎(chǔ)（預(yù)計2小時） |
1. 專家系統(tǒng)與機(jī)器學(xué)習(xí)： 以專家系統(tǒng)為切入點，講解早期人工智能系統(tǒng)的形態(tài)，并通過銀行信用卡反欺詐的案例來引出機(jī)器學(xué)習(xí)是如何解決業(yè)務(wù)問題的。 在講解專家系統(tǒng)和機(jī)器學(xué)習(xí)的異同時，以簡單易懂的語言描述人工智能的原理以及人工智能是如何解決業(yè)務(wù)問題的。在這一章節(jié)中主要講解人工智能的運(yùn)作原理以及業(yè)務(wù)形態(tài)。 2. 特征與模型： 講解人工智能的產(chǎn)物--模型的原理和形態(tài)。 分別講解二分類，多分類以及回歸類的模型有何不同，分別對應(yīng)何種場景。并以信用卡反欺詐為案例講解在人工智能中特征是什么，模型又是什么，從業(yè)人員說的參數(shù)服務(wù)又是什么。 3. 最典型的算法--邏輯回歸介紹 通過介紹機(jī)器學(xué)習(xí)中最典型的算法--邏輯回歸來講解機(jī)器學(xué)習(xí)算法的基本運(yùn)作原理，在這一章節(jié)中會通過邏輯回歸一次介紹機(jī)器學(xué)習(xí)算法的基本概念，比如：激活函數(shù)，梯度下降，batch size，訓(xùn)練輪數(shù)等超參數(shù)。結(jié)合前兩個章節(jié)總結(jié)整個機(jī)器學(xué)習(xí)的業(yè)務(wù)場景。 4. 其他知識點介紹 a. 決策引擎--專家系統(tǒng)與機(jī)器學(xué)習(xí)的結(jié)合 b. 特征組合與時序特征數(shù)據(jù)庫 c. automl與遷移學(xué)習(xí) |
| L2. 人工智能測試基礎(chǔ) -- 模型評估標(biāo)準(zhǔn)（預(yù)計半小時到1小時） |
1. 混淆矩陣 介紹混淆矩陣的概念以及構(gòu)建混淆矩陣的方法 2. 精準(zhǔn)率，召回率與F1 score 講解如何通過混淆矩陣來統(tǒng)計精準(zhǔn)，召回和F1socre作為模型評估指標(biāo)。并通過案例講解什么場景下側(cè)重于什么指標(biāo)來評估模型。 3. ROC與AUC 簡單描述ROC與AUC的含義，并說明它的參考意義 4. 分組指標(biāo)統(tǒng)計與過擬合 講解過擬合的含義以及什么情況下會出現(xiàn)過擬合， 再分別通過分組指標(biāo)統(tǒng)計來評估每個維度下的模型效果。 并且統(tǒng)計每個區(qū)間的預(yù)測值的穩(wěn)定性 |
| L3. 人工智能測試基礎(chǔ) -- 測試數(shù)據(jù)采集原則（預(yù)計1小時） |
1. 訓(xùn)練集，驗證集，測試集 介紹在人工智能場景中，訓(xùn)練集，驗證集與測試集各自的作用，并講解如何構(gòu)建相關(guān)的數(shù)據(jù)集 2. 選取數(shù)據(jù)的策略 a. 通過一些場景來介紹在選取測試數(shù)據(jù)時的策略，比如時序性數(shù)據(jù)，分布不均勻的數(shù)據(jù)等。 b. 演示通過spark dataframe來構(gòu)造和采集數(shù)據(jù)的過程。（假設(shè)聽眾有spark的背景， 如果沒有則進(jìn)行L5的講解） |
| L4. 分布式計算Spark詳解（如果客戶沒有大數(shù)據(jù)背景的話則講解本章，如果有則忽略，預(yù)計2小時） |
1. rdd簡介， 并且簡單介紹各個算子的作用。 2. spark sql和dataframe簡介（就是簡單介紹） 3. 數(shù)據(jù)分區(qū)（partition）與spark的計算流程 4. 通過spark采集數(shù)據(jù)以及構(gòu)建測試數(shù)據(jù)的方法 |
| L5. 人工智能平臺案例講解（預(yù)計2.5小時） |
1. 人工智能平臺業(yè)務(wù)與模塊介紹 a. 數(shù)據(jù)中心 b. 建模中心 c. 線上工程 d. 自學(xué)習(xí)與數(shù)據(jù)閉環(huán) e. 線上實時訓(xùn)練與實時指標(biāo)監(jiān)控 2. 性能測試介紹 a. 介紹特征維度與數(shù)據(jù)構(gòu)造的關(guān)系 b. 演示通過spark構(gòu)建不同特征維度的數(shù)據(jù)。 c. 演示通過異步io構(gòu)建海量小文件數(shù)據(jù)。 3. 人工智能平臺的數(shù)據(jù)治理簡介 a. 數(shù)據(jù)血緣 b. 數(shù)據(jù)的生命周期（時序特征數(shù)據(jù)庫與離線數(shù)據(jù)的TTL與治理 4. 人工智能平臺的K8S與hadoop生態(tài)的結(jié)合 a. 人工智能與Hadoop結(jié)合時的架構(gòu)介紹與測試場景 b. 人工智能與K8S結(jié)合時的架構(gòu)介紹與測試場景 5. 線上線下一致性測試與數(shù)據(jù)質(zhì)量監(jiān)控 |
| L6. 計算機(jī)視覺基礎(chǔ)（2.5小時） |
1.神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí) 通過邏輯回歸擴(kuò)展講解神經(jīng)網(wǎng)絡(luò)，并通過神經(jīng)網(wǎng)絡(luò)擴(kuò)展講解深度學(xué)習(xí)。 2. 卷積神經(jīng)網(wǎng)絡(luò)介紹 通過講解RGB色彩通道與卷積運(yùn)算來說明卷積神經(jīng)網(wǎng)絡(luò)與普通的神經(jīng)網(wǎng)絡(luò)有何不同，深度學(xué)習(xí)是如何識別圖片中的物體的。 3. 常見的計算機(jī)視覺場景介紹。 講解常見的計算機(jī)視覺的業(yè)務(wù)場景，計算原理等。包括但不限于目標(biāo)檢測，行為識別，人臉識別等等。 4. 效果測試介紹 講解在計算機(jī)視覺場景下，評估模型的場景與普通場景有什么區(qū)別。 5. 兩階段模型介紹與對應(yīng)的性能測試場景。 講解在視頻流場景下，算法的原理，以及在此場景下影響性能測試的因素。 |
| L7. 計算機(jī)視覺場景下的數(shù)據(jù)構(gòu)造（2小時） |
1. 圖像基礎(chǔ)講解 講解圖像處理的基礎(chǔ)，包括容器，F(xiàn)PS，抽幀，分辨率，碼率等等。 2. ffmpeg基礎(chǔ) 講解ffmpeg命令的基礎(chǔ)，如何通過ffmpeg實現(xiàn)視頻抽幀， 圖片合成，視頻轉(zhuǎn)碼，視頻截取等操作 3. 攝像頭模擬 講解如果通過ffmpeg + EasyDarwin來搭建流媒體服務(wù)器來模擬網(wǎng)絡(luò)攝像頭。 4. opencv基礎(chǔ)講解 講解opencv的基礎(chǔ)，如何編寫demo程序 5. opencv的數(shù)據(jù)構(gòu)建 講解如何通過opencv編寫程序去處理圖片，如圖片翻轉(zhuǎn)，灰度化，銳化，去噪等等。 |
|
L1. 人工智能基礎(chǔ)（預(yù)計2小時） 1. 專家系統(tǒng)與機(jī)器學(xué)習(xí)： 以專家系統(tǒng)為切入點，講解早期人工智能系統(tǒng)的形態(tài)，并通過銀行信用卡反欺詐的案例來引出機(jī)器學(xué)習(xí)是如何解決業(yè)務(wù)問題的。 在講解專家系統(tǒng)和機(jī)器學(xué)習(xí)的異同時，以簡單易懂的語言描述人工智能的原理以及人工智能是如何解決業(yè)務(wù)問題的。在這一章節(jié)中主要講解人工智能的運(yùn)作原理以及業(yè)務(wù)形態(tài)。 2. 特征與模型： 講解人工智能的產(chǎn)物--模型的原理和形態(tài)。 分別講解二分類，多分類以及回歸類的模型有何不同，分別對應(yīng)何種場景。并以信用卡反欺詐為案例講解在人工智能中特征是什么，模型又是什么，從業(yè)人員說的參數(shù)服務(wù)又是什么。 3. 最典型的算法--邏輯回歸介紹 通過介紹機(jī)器學(xué)習(xí)中最典型的算法--邏輯回歸來講解機(jī)器學(xué)習(xí)算法的基本運(yùn)作原理，在這一章節(jié)中會通過邏輯回歸一次介紹機(jī)器學(xué)習(xí)算法的基本概念，比如：激活函數(shù)，梯度下降，batch size，訓(xùn)練輪數(shù)等超參數(shù)。結(jié)合前兩個章節(jié)總結(jié)整個機(jī)器學(xué)習(xí)的業(yè)務(wù)場景。 4. 其他知識點介紹 a. 決策引擎--專家系統(tǒng)與機(jī)器學(xué)習(xí)的結(jié)合 b. 特征組合與時序特征數(shù)據(jù)庫 c. automl與遷移學(xué)習(xí) |
|
L2. 人工智能測試基礎(chǔ) -- 模型評估標(biāo)準(zhǔn)（預(yù)計半小時到1小時） 1. 混淆矩陣 介紹混淆矩陣的概念以及構(gòu)建混淆矩陣的方法 2. 精準(zhǔn)率，召回率與F1 score 講解如何通過混淆矩陣來統(tǒng)計精準(zhǔn)，召回和F1socre作為模型評估指標(biāo)。并通過案例講解什么場景下側(cè)重于什么指標(biāo)來評估模型。 3. ROC與AUC 簡單描述ROC與AUC的含義，并說明它的參考意義 4. 分組指標(biāo)統(tǒng)計與過擬合 講解過擬合的含義以及什么情況下會出現(xiàn)過擬合， 再分別通過分組指標(biāo)統(tǒng)計來評估每個維度下的模型效果。 并且統(tǒng)計每個區(qū)間的預(yù)測值的穩(wěn)定性 |
|
L3. 人工智能測試基礎(chǔ) -- 測試數(shù)據(jù)采集原則（預(yù)計1小時） 1. 訓(xùn)練集，驗證集，測試集 介紹在人工智能場景中，訓(xùn)練集，驗證集與測試集各自的作用，并講解如何構(gòu)建相關(guān)的數(shù)據(jù)集 2. 選取數(shù)據(jù)的策略 a. 通過一些場景來介紹在選取測試數(shù)據(jù)時的策略，比如時序性數(shù)據(jù)，分布不均勻的數(shù)據(jù)等。 b. 演示通過spark dataframe來構(gòu)造和采集數(shù)據(jù)的過程。（假設(shè)聽眾有spark的背景， 如果沒有則進(jìn)行L5的講解） |
|
L4. 分布式計算Spark詳解（如果客戶沒有大數(shù)據(jù)背景的話則講解本章，如果有則忽略，預(yù)計2小時） 1. rdd簡介， 并且簡單介紹各個算子的作用。 2. spark sql和dataframe簡介（就是簡單介紹） 3. 數(shù)據(jù)分區(qū)（partition）與spark的計算流程 4. 通過spark采集數(shù)據(jù)以及構(gòu)建測試數(shù)據(jù)的方法 |
|
L5. 人工智能平臺案例講解（預(yù)計2.5小時） 1. 人工智能平臺業(yè)務(wù)與模塊介紹 a. 數(shù)據(jù)中心 b. 建模中心 c. 線上工程 d. 自學(xué)習(xí)與數(shù)據(jù)閉環(huán) e. 線上實時訓(xùn)練與實時指標(biāo)監(jiān)控 2. 性能測試介紹 a. 介紹特征維度與數(shù)據(jù)構(gòu)造的關(guān)系 b. 演示通過spark構(gòu)建不同特征維度的數(shù)據(jù)。 c. 演示通過異步io構(gòu)建海量小文件數(shù)據(jù)。 3. 人工智能平臺的數(shù)據(jù)治理簡介 a. 數(shù)據(jù)血緣 b. 數(shù)據(jù)的生命周期（時序特征數(shù)據(jù)庫與離線數(shù)據(jù)的TTL與治理 4. 人工智能平臺的K8S與hadoop生態(tài)的結(jié)合 a. 人工智能與Hadoop結(jié)合時的架構(gòu)介紹與測試場景 b. 人工智能與K8S結(jié)合時的架構(gòu)介紹與測試場景 5. 線上線下一致性測試與數(shù)據(jù)質(zhì)量監(jiān)控 |
|
L6. 計算機(jī)視覺基礎(chǔ)（2.5小時） 1.神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí) 通過邏輯回歸擴(kuò)展講解神經(jīng)網(wǎng)絡(luò)，并通過神經(jīng)網(wǎng)絡(luò)擴(kuò)展講解深度學(xué)習(xí)。 2. 卷積神經(jīng)網(wǎng)絡(luò)介紹 通過講解RGB色彩通道與卷積運(yùn)算來說明卷積神經(jīng)網(wǎng)絡(luò)與普通的神經(jīng)網(wǎng)絡(luò)有何不同，深度學(xué)習(xí)是如何識別圖片中的物體的。 3. 常見的計算機(jī)視覺場景介紹。 講解常見的計算機(jī)視覺的業(yè)務(wù)場景，計算原理等。包括但不限于目標(biāo)檢測，行為識別，人臉識別等等。 4. 效果測試介紹 講解在計算機(jī)視覺場景下，評估模型的場景與普通場景有什么區(qū)別。 5. 兩階段模型介紹與對應(yīng)的性能測試場景。 講解在視頻流場景下，算法的原理，以及在此場景下影響性能測試的因素。 |
|
L7. 計算機(jī)視覺場景下的數(shù)據(jù)構(gòu)造（2小時） 1. 圖像基礎(chǔ)講解 講解圖像處理的基礎(chǔ)，包括容器，F(xiàn)PS，抽幀，分辨率，碼率等等。 2. ffmpeg基礎(chǔ) 講解ffmpeg命令的基礎(chǔ)，如何通過ffmpeg實現(xiàn)視頻抽幀， 圖片合成，視頻轉(zhuǎn)碼，視頻截取等操作 3. 攝像頭模擬 講解如果通過ffmpeg + EasyDarwin來搭建流媒體服務(wù)器來模擬網(wǎng)絡(luò)攝像頭。 4. opencv基礎(chǔ)講解 講解opencv的基礎(chǔ)，如何編寫demo程序 5. opencv的數(shù)據(jù)構(gòu)建 講解如何通過opencv編寫程序去處理圖片，如圖片翻轉(zhuǎn)，灰度化，銳化，去噪等等。 |
近期公開課推薦
