課程簡介
業(yè)界普遍問題——將在課程中要逐一解決:
?大模型及RAG到底是什么?有什么用?
?AI + 自動化測試的具體實現(xiàn)是怎樣的?
?大模型測試有哪些具體優(yōu)勢?又有哪些局限?
?如何進行大模型快速環(huán)境部署?及測試數(shù)據(jù)生成?
?自動化測試是不是只解決回歸測試或功能測試,是否可全線覆蓋各種測試類型(例如性能測試、壓力測試、安全測試等自動化如何做)?
?如何使用自動化測試來實施TDD(測試驅(qū)動開發(fā))?
?自動化測試的具體實現(xiàn)是怎樣的?希望有實際案例、及細(xì)節(jié)實現(xiàn)過程
?如何提高自動化測試的技術(shù)復(fù)用性?
如何進行數(shù)據(jù)驅(qū)動測試?以及自動化測試的架構(gòu)最佳實踐?
目標(biāo)收益
1.有當(dāng)堂真實自動化運行演示,所有真實實現(xiàn)的自動化技術(shù)均來自講師的實際工作成果
2.分享建立私有大模型及RAG的實戰(zhàn)經(jīng)驗,講解LLM運用RAG自動生成測試案例及分析結(jié)果的分層實現(xiàn)技術(shù)
3.講師實際編寫過多個自動化測試工具,會分享多種自動化工具的定位和集成效能,所以不依賴特定自動化工具,學(xué)員將會系統(tǒng)化學(xué)習(xí)從自動化的框架層、到工具層、到用例封裝的技術(shù)實現(xiàn)
4.因為本課程并非編程課,所以對學(xué)員并不要求編程基礎(chǔ)。但學(xué)員最好有基本的技術(shù)意識。例如,上學(xué)期間學(xué)過基礎(chǔ)類的軟件知識。以便可以理解技術(shù)設(shè)計思想
培訓(xùn)對象
1、技術(shù)團隊成員:尤其是負(fù)責(zé)質(zhì)量保證(QA)、測試工程師、持續(xù)集成/持續(xù)交付(CI/CD)流程的專業(yè)人員。他們可能對AI技術(shù)有所了解,但希望深入學(xué)習(xí)如何將這些技術(shù)應(yīng)用于實際的測試和質(zhì)量保證流程中。
2、軟件開發(fā)團隊成員:包括開發(fā)人員、產(chǎn)品經(jīng)理、項目經(jīng)理等,他們對提高軟件開發(fā)過程中的測試效率和質(zhì)量感興趣。這些人員希望通過學(xué)習(xí)AI在測試中的應(yīng)用,來提升軟件產(chǎn)品的整體質(zhì)量和交付速度。
3、對AI技術(shù)感興趣的技術(shù)愛好者:他們可能并不直接從事測試工作,但對生成式AI、大模型技術(shù)等領(lǐng)域感興趣,并希望了解這些技術(shù)在特定行業(yè)(如軟件測試)中的實際應(yīng)用。
4、尋求技術(shù)轉(zhuǎn)型或提升的專業(yè)人士:包括希望從傳統(tǒng)測
課程大綱
AI大模型在質(zhì)量測試的應(yīng)用總覽 本章介紹生成式AI在質(zhì)量測試領(lǐng)域有哪些應(yīng)用落地點,尤其是對App移動端測試、性能測試、整體測試技巧完善、測試效能提升等方面都有哪些應(yīng)用 |
(1)大模型技術(shù)在App測試的應(yīng)用 (2)基于AI視覺分析的App前端測試自動化 (3)大模型輔助移動端性能測試指標(biāo)分析、趨勢監(jiān)察、瓶頸定位 (4)大模型輔助移動端需求分析及檢測測試用例對需求的覆蓋率 (5)通過大模型檢索設(shè)計標(biāo)準(zhǔn)核對,加強合規(guī)性檢查及設(shè)計缺陷預(yù)防 (6)大模型輔助移動端測試用例設(shè)計及邊界檢查 (7)生成式AI輔助缺陷報告生成 (8)大模型輔助質(zhì)量管理關(guān)鍵信息檢索和追蹤 |
系統(tǒng)理解生成式AI和大模型 隨著大模型的爆發(fā)式增長,AI技術(shù)對各行業(yè)生產(chǎn)力的提高開始顯現(xiàn)巨大的影響,某些領(lǐng)域的工作方式和思維方式都在AI加持之下產(chǎn)生巨變?,F(xiàn)代企業(yè)的技術(shù)團隊需要對生成式AI有一個系統(tǒng)全面的理解 |
(1)何為生成式AI (AIGC)、與傳統(tǒng)AI的本質(zhì)區(qū)別是什么 (2)AIGC領(lǐng)域的重要應(yīng)用——LLM(大模型) (3)由AI視角解釋LLM大模型工作原理:分別詳述“L”-“Language”-“Model”技術(shù)原理 (4)理清大模型的核心概念和相互關(guān)系:Token、向量、嵌入、Transformer等 (5)有哪些好用的大模型:Chat GPT以及類似的中英文開源大模型 (6)每一個“我”如何在龐大的AI生態(tài)系統(tǒng)中找準(zhǔn)自己的定位 |
搭建你的定制專屬大模型+增強檢索RAG 學(xué)習(xí)和理解生成式AI以及大模型是為了更好地應(yīng)用到自己企業(yè)或部門以解決實際問題或提高生產(chǎn)力。僅靠通用大模型并不能深入滿足特定企業(yè)或崗位的應(yīng)用,例如,如何使用大模型增強QA測試能力、項目管理能力、開發(fā)效率、財務(wù)分析能力等。本章介紹為使得大模型在具體企業(yè)或崗位應(yīng)用落地需要學(xué)習(xí)和理解的RAG技術(shù)的必要性和知識準(zhǔn)備 |
(1)通用大模型vs私有大模型,及應(yīng)該如何選擇 (2)哪些情況需要企業(yè)搭建針對性的私有大模型 (3)構(gòu)建私有大模型的核心條件和準(zhǔn)備工作 (4)搭建私有大模型的關(guān)鍵步驟、順序、及依賴關(guān)系 (5)深入理解:大模型訓(xùn)練vs模型微調(diào)vs增強檢索RAG的核心區(qū)別、實施成本、實施難度、和應(yīng)用場景定位 (6)大模型具體應(yīng)用落地的重要抓手——RAG (7)RAG技術(shù)詳解:RAG數(shù)據(jù)集合、RAG分塊策略、RAG模型嵌入 (8)大模型智能體內(nèi)部解剖 (9)大模型的幻覺及閾值調(diào)試 (10)實施:私有大模型的算力要求和投入估算 |
基于AI輔助的測試用例生成及優(yōu)化 本章介紹基于生成式AI進行測試用例的生成、優(yōu)化、范式保證、以及結(jié)構(gòu)化優(yōu)化的應(yīng)用 |
(1)運用AI進行等價類用例設(shè)計 (2)運用AI可極大提升邊界值用例設(shè)計效率 (3)運用AI進行用例格式規(guī)范檢查 (4)利用大模型對大規(guī)模測試用例進行結(jié)構(gòu)化分層、提高復(fù)用率 |
AI大模型對QA結(jié)果的自動分析和歸納總結(jié) 在實際工作中構(gòu)建了兩套大規(guī)模自動化實驗室和私有大模型+RAG知識管理系統(tǒng)。這一章讓我們先一起來看一下一套實際運行的自動化及持續(xù)集成系統(tǒng)加持AI大模型分析后的真實應(yīng)用是怎樣的以及效果如何。對整體的設(shè)計思路和目的性有一個系統(tǒng)認(rèn)識,然后從下一模塊開始展開細(xì)節(jié),講解如何進行技術(shù)實現(xiàn)的 |
(1)應(yīng)用大模型基于大量原始測試數(shù)據(jù)生成測試報告和關(guān)鍵信息提取 (2)基于AI大模型分析的數(shù)據(jù)統(tǒng)計及數(shù)據(jù)挖掘,如何自定義及實現(xiàn)一套Dashboard (3)通過AI大模型來快速精準(zhǔn)定位整個系統(tǒng)的質(zhì)量弱點,為敏捷測試及持續(xù)交付提供AI分析 (4)AI統(tǒng)計通過率、各種Top10及缺陷與用例的關(guān)聯(lián) (5)大規(guī)模自動化測試及數(shù)據(jù)分析的實際演示與詳解 |
AI對自動化測試的輔助 這一章是AI助力自動化測試的重要實戰(zhàn)部分,將對每一種測試方法的重點、難點和實施技巧進行講解,用一個真實的企業(yè)級軟件項目作為案例,講解如何在一個真實項目中逐一實施這些測試方法的自動化 |
(1)適配AI應(yīng)用的自動化架構(gòu)框架設(shè)計 (2)應(yīng)用大模型生成測試腳本 (3)應(yīng)用大模型生成數(shù)據(jù)驅(qū)動的自動化數(shù)據(jù)文件 (4)基于AI圖像識別的UI或App前端自動化 (5)性能測試的自動化的難點及數(shù)據(jù)分析 (6)全球化和本地化測試的自動化(適用于多語言或定制開發(fā)項目) |
AI在測試領(lǐng)域落地的流程支撐 AI大模型并非萬能,對于輸入數(shù)據(jù)、尤其是需求的清晰度和嚴(yán)謹(jǐn)度提出了更高的要求。本章將分享講師在真實項目中打磨的實戰(zhàn)方法,此方法已經(jīng)在多個團隊實施,有著非常好的實際結(jié)果 |
(1)AI大模型助力測試領(lǐng)域的工作模式和質(zhì)量標(biāo)準(zhǔn)先決條件 (2)需求數(shù)據(jù)的質(zhì)量如何管控?管控方法實踐分享 (3)高質(zhì)量輸入數(shù)據(jù)對AI生成測試用例的實戰(zhàn)經(jīng)驗分享 (4)架構(gòu)設(shè)計需不要質(zhì)量?管控方法分享 |
從DevOps進化到MLOps 隨著自動化的規(guī)?;瘜崿F(xiàn),在多維度引入AI可實現(xiàn)各自動化模塊即可單獨運轉(zhuǎn)、有著自己清晰的功能,也可協(xié)同運轉(zhuǎn)成為一個高階自動化系統(tǒng)。從而為敏捷測試及持續(xù)交付提供強力的技術(shù)支撐。AI的引入,對于質(zhì)量保證的技術(shù)、效率、思維方式都產(chǎn)生了巨大的改變! |
(1)機器學(xué)習(xí)ML+DevOps總體建設(shè)思路 (2)AI+自動化測試+持續(xù)集成的運行部署策略 (3)測試環(huán)境及測試數(shù)據(jù)的自動化部署 (4)Pass Rate:測試活動的重要標(biāo)準(zhǔn) (5)AI輔助分析代碼覆蓋率檢查 (6)AI輔助自動化測試的缺陷跟蹤 (7)AI輔助分析多機器池自動化部署及優(yōu)化 (8)如何將AI+大規(guī)模自動化+版本控制+持續(xù)集成部署為一個復(fù)雜完備的大型質(zhì)量保證體系,從而實現(xiàn)MLOps |
AI大模型在質(zhì)量測試的應(yīng)用總覽 本章介紹生成式AI在質(zhì)量測試領(lǐng)域有哪些應(yīng)用落地點,尤其是對App移動端測試、性能測試、整體測試技巧完善、測試效能提升等方面都有哪些應(yīng)用 (1)大模型技術(shù)在App測試的應(yīng)用 (2)基于AI視覺分析的App前端測試自動化 (3)大模型輔助移動端性能測試指標(biāo)分析、趨勢監(jiān)察、瓶頸定位 (4)大模型輔助移動端需求分析及檢測測試用例對需求的覆蓋率 (5)通過大模型檢索設(shè)計標(biāo)準(zhǔn)核對,加強合規(guī)性檢查及設(shè)計缺陷預(yù)防 (6)大模型輔助移動端測試用例設(shè)計及邊界檢查 (7)生成式AI輔助缺陷報告生成 (8)大模型輔助質(zhì)量管理關(guān)鍵信息檢索和追蹤 |
系統(tǒng)理解生成式AI和大模型 隨著大模型的爆發(fā)式增長,AI技術(shù)對各行業(yè)生產(chǎn)力的提高開始顯現(xiàn)巨大的影響,某些領(lǐng)域的工作方式和思維方式都在AI加持之下產(chǎn)生巨變?,F(xiàn)代企業(yè)的技術(shù)團隊需要對生成式AI有一個系統(tǒng)全面的理解 (1)何為生成式AI (AIGC)、與傳統(tǒng)AI的本質(zhì)區(qū)別是什么 (2)AIGC領(lǐng)域的重要應(yīng)用——LLM(大模型) (3)由AI視角解釋LLM大模型工作原理:分別詳述“L”-“Language”-“Model”技術(shù)原理 (4)理清大模型的核心概念和相互關(guān)系:Token、向量、嵌入、Transformer等 (5)有哪些好用的大模型:Chat GPT以及類似的中英文開源大模型 (6)每一個“我”如何在龐大的AI生態(tài)系統(tǒng)中找準(zhǔn)自己的定位 |
搭建你的定制專屬大模型+增強檢索RAG 學(xué)習(xí)和理解生成式AI以及大模型是為了更好地應(yīng)用到自己企業(yè)或部門以解決實際問題或提高生產(chǎn)力。僅靠通用大模型并不能深入滿足特定企業(yè)或崗位的應(yīng)用,例如,如何使用大模型增強QA測試能力、項目管理能力、開發(fā)效率、財務(wù)分析能力等。本章介紹為使得大模型在具體企業(yè)或崗位應(yīng)用落地需要學(xué)習(xí)和理解的RAG技術(shù)的必要性和知識準(zhǔn)備 (1)通用大模型vs私有大模型,及應(yīng)該如何選擇 (2)哪些情況需要企業(yè)搭建針對性的私有大模型 (3)構(gòu)建私有大模型的核心條件和準(zhǔn)備工作 (4)搭建私有大模型的關(guān)鍵步驟、順序、及依賴關(guān)系 (5)深入理解:大模型訓(xùn)練vs模型微調(diào)vs增強檢索RAG的核心區(qū)別、實施成本、實施難度、和應(yīng)用場景定位 (6)大模型具體應(yīng)用落地的重要抓手——RAG (7)RAG技術(shù)詳解:RAG數(shù)據(jù)集合、RAG分塊策略、RAG模型嵌入 (8)大模型智能體內(nèi)部解剖 (9)大模型的幻覺及閾值調(diào)試 (10)實施:私有大模型的算力要求和投入估算 |
基于AI輔助的測試用例生成及優(yōu)化 本章介紹基于生成式AI進行測試用例的生成、優(yōu)化、范式保證、以及結(jié)構(gòu)化優(yōu)化的應(yīng)用 (1)運用AI進行等價類用例設(shè)計 (2)運用AI可極大提升邊界值用例設(shè)計效率 (3)運用AI進行用例格式規(guī)范檢查 (4)利用大模型對大規(guī)模測試用例進行結(jié)構(gòu)化分層、提高復(fù)用率 |
AI大模型對QA結(jié)果的自動分析和歸納總結(jié) 在實際工作中構(gòu)建了兩套大規(guī)模自動化實驗室和私有大模型+RAG知識管理系統(tǒng)。這一章讓我們先一起來看一下一套實際運行的自動化及持續(xù)集成系統(tǒng)加持AI大模型分析后的真實應(yīng)用是怎樣的以及效果如何。對整體的設(shè)計思路和目的性有一個系統(tǒng)認(rèn)識,然后從下一模塊開始展開細(xì)節(jié),講解如何進行技術(shù)實現(xiàn)的 (1)應(yīng)用大模型基于大量原始測試數(shù)據(jù)生成測試報告和關(guān)鍵信息提取 (2)基于AI大模型分析的數(shù)據(jù)統(tǒng)計及數(shù)據(jù)挖掘,如何自定義及實現(xiàn)一套Dashboard (3)通過AI大模型來快速精準(zhǔn)定位整個系統(tǒng)的質(zhì)量弱點,為敏捷測試及持續(xù)交付提供AI分析 (4)AI統(tǒng)計通過率、各種Top10及缺陷與用例的關(guān)聯(lián) (5)大規(guī)模自動化測試及數(shù)據(jù)分析的實際演示與詳解 |
AI對自動化測試的輔助 這一章是AI助力自動化測試的重要實戰(zhàn)部分,將對每一種測試方法的重點、難點和實施技巧進行講解,用一個真實的企業(yè)級軟件項目作為案例,講解如何在一個真實項目中逐一實施這些測試方法的自動化 (1)適配AI應(yīng)用的自動化架構(gòu)框架設(shè)計 (2)應(yīng)用大模型生成測試腳本 (3)應(yīng)用大模型生成數(shù)據(jù)驅(qū)動的自動化數(shù)據(jù)文件 (4)基于AI圖像識別的UI或App前端自動化 (5)性能測試的自動化的難點及數(shù)據(jù)分析 (6)全球化和本地化測試的自動化(適用于多語言或定制開發(fā)項目) |
AI在測試領(lǐng)域落地的流程支撐 AI大模型并非萬能,對于輸入數(shù)據(jù)、尤其是需求的清晰度和嚴(yán)謹(jǐn)度提出了更高的要求。本章將分享講師在真實項目中打磨的實戰(zhàn)方法,此方法已經(jīng)在多個團隊實施,有著非常好的實際結(jié)果 (1)AI大模型助力測試領(lǐng)域的工作模式和質(zhì)量標(biāo)準(zhǔn)先決條件 (2)需求數(shù)據(jù)的質(zhì)量如何管控?管控方法實踐分享 (3)高質(zhì)量輸入數(shù)據(jù)對AI生成測試用例的實戰(zhàn)經(jīng)驗分享 (4)架構(gòu)設(shè)計需不要質(zhì)量?管控方法分享 |
從DevOps進化到MLOps 隨著自動化的規(guī)?;瘜崿F(xiàn),在多維度引入AI可實現(xiàn)各自動化模塊即可單獨運轉(zhuǎn)、有著自己清晰的功能,也可協(xié)同運轉(zhuǎn)成為一個高階自動化系統(tǒng)。從而為敏捷測試及持續(xù)交付提供強力的技術(shù)支撐。AI的引入,對于質(zhì)量保證的技術(shù)、效率、思維方式都產(chǎn)生了巨大的改變! (1)機器學(xué)習(xí)ML+DevOps總體建設(shè)思路 (2)AI+自動化測試+持續(xù)集成的運行部署策略 (3)測試環(huán)境及測試數(shù)據(jù)的自動化部署 (4)Pass Rate:測試活動的重要標(biāo)準(zhǔn) (5)AI輔助分析代碼覆蓋率檢查 (6)AI輔助自動化測試的缺陷跟蹤 (7)AI輔助分析多機器池自動化部署及優(yōu)化 (8)如何將AI+大規(guī)模自動化+版本控制+持續(xù)集成部署為一個復(fù)雜完備的大型質(zhì)量保證體系,從而實現(xiàn)MLOps |