一、怎樣的技術(shù)
?百度百科:
精準(zhǔn)測試是一套計(jì)算機(jī)測試輔助分析系統(tǒng)。
精準(zhǔn)測試的核心組件包含的軟件測試示波器、用例和代碼的雙向追溯、智能回歸測試用例選取、覆蓋率分析、缺陷定位、測試用例聚類分析、測試用例自動(dòng)生成系統(tǒng),這些功能完整的構(gòu)成了精準(zhǔn)測試技術(shù)體系。
?其他定義
精準(zhǔn)測試是中國自己有知識產(chǎn)權(quán)的完全的理論體系,它同時(shí)關(guān)注功能點(diǎn)和代碼相關(guān)邏輯這樣一個(gè)方法論,是一種灰盒的測試模式。
最開始在2014年的國際軟件測試大會(huì)上發(fā)布精準(zhǔn)測試的時(shí)候,它叫穿線測試,英文名字叫Threading Test,表達(dá)了精準(zhǔn)測試的本質(zhì),Threading這個(gè)英文單詞本身有兩個(gè)含義,一個(gè)是穿線一個(gè)是線程,建立用例和代碼的關(guān)系,相當(dāng)于把黑盒和白盒關(guān)聯(lián)起來,做黑盒測試也能看到白盒數(shù)據(jù),同時(shí)把開發(fā)和測試能夠關(guān)聯(lián)起來,測試一做完,開發(fā)的邏輯馬上就能自動(dòng)生成。另一個(gè)層面,精準(zhǔn)測試最本質(zhì)就是線程測試,因?yàn)榫珳?zhǔn)測試基于覆蓋率白盒理論產(chǎn)生,它跟白盒最大的區(qū)別是它的覆蓋率是線程級的,也就是說要追溯到用例這個(gè)級別。
二、技術(shù)發(fā)展
?歷史發(fā)展
?成熟度模型的五級劃分
三、知識與技能
第一,開發(fā)的基礎(chǔ)和核心(編程)知識及所需要用到的版本管理工具(GIT)等。
第二,領(lǐng)域特定的知識、技術(shù)需要具備如下:
JAVA:Javassist(官網(wǎng)- https://www.javassist.org/ ),
ASM3.0(官網(wǎng)- https://asm.ow2.io/ ),
JaCoCo(官網(wǎng)- https://www.eclemma.org/jacoco/)。
C/C++:匯編、反匯編,PE,逆向工程(IDA)。
要用C/C++實(shí)現(xiàn),通用與效率等方面沒得說,但各協(xié)議的插樁,代碼信息的收集,復(fù)雜程度和工作量都不是一般人所能承受,要做好心里建設(shè)。
直接使用JaCoCo需要注意覆蓋率的誤差,一些語句行,分支層級,其誤差會(huì)被指數(shù)級放大。其更適用于偏向輔助個(gè)人開發(fā)者和小型項(xiàng)目組對項(xiàng)目覆蓋率進(jìn)行非?;A(chǔ)的評估。
?誤差產(chǎn)生的具體成因:
1.復(fù)雜系統(tǒng)通常由大量子模塊組成,JaCoCo無法實(shí)現(xiàn)對于內(nèi)部被調(diào)用的子模塊進(jìn)行插裝,因此對于子模塊覆蓋率的評估會(huì)產(chǎn)生顯著的誤差。
2.如果某個(gè)子模塊沒有被調(diào)用,那么對于JaCoCo來說,該模塊內(nèi)的方法等同于不存在。JaCoCo需要調(diào)用該子模塊,才能將該子模塊內(nèi)的代碼計(jì)入覆蓋率計(jì)算的“分母”。
3.除了幾種既定的邏輯意外事件,JaCoCo無法正確處理例外情況(Exception),如果在控制流程中遇到Exception,JaCoCo會(huì)把這種情況直接標(biāo)記為未覆蓋,這種判定方式直接的影響到了對程序邏輯關(guān)系的把控,造成對于覆蓋率無法準(zhǔn)確評估。
?誤差引發(fā)的后果:
1.偽瓶頸的產(chǎn)生,以及對測試質(zhì)量的錯(cuò)誤高估。第一種情況,測試人員投入大量工作之后,卻無法進(jìn)一步提升覆蓋率,造成對資源和實(shí)踐的浪費(fèi);第二種情況,會(huì)讓用戶誤將未達(dá)標(biāo)的系統(tǒng)判定為達(dá)標(biāo),有可能引發(fā)嚴(yán)重的生產(chǎn)事故。
2.無法實(shí)現(xiàn)缺陷定位,大量的算法和應(yīng)用依托覆蓋率的輸入,而缺陷定位更是其中最主要的實(shí)踐。
3.回歸測試的精準(zhǔn)度,受到了嚴(yán)重的影響。
?無損插樁技術(shù)(推薦)
精準(zhǔn)測試推出的SABI和SASI是中國自己的技術(shù)
SABI,SouceCode Analyzer ByteCode Intrumentation,就是說源碼分析,字節(jié)碼查看,觀測和分析是在源碼,插樁是在字節(jié)碼。
SASI,SouceCode Analyzer SouceCode Intrumentation,這是傳統(tǒng)商用白盒最基礎(chǔ)的技術(shù),有時(shí)候?qū)υ创a進(jìn)行分析,直接在源碼插裝。源碼插裝以后,代碼經(jīng)過高級語言、高級編譯器的編譯,直接生成最后發(fā)布包。這種是完全無損的標(biāo)準(zhǔn)技術(shù),插裝代碼經(jīng)過編譯器編譯后執(zhí)行可靠性更高。
四、總結(jié)與介紹
大綱
1、測試范圍,代碼分析
2、差異化
?
3、調(diào)用關(guān)系
4、度量與分析
5、質(zhì)量評估
6、知識庫兼優(yōu)化
7、用例預(yù)分析
8、自動(dòng)化測試與精準(zhǔn)測試
五、平臺
>設(shè)計(jì)思路
從產(chǎn)品的需求、功能模塊,開發(fā)的代碼到測試的用例,從正向到逆向的覆蓋,追溯和可視。
>大綱
>調(diào)用鏈與代碼覆蓋
使用的是插樁,有點(diǎn)類似C++中的Hook技術(shù),獲取所需數(shù)據(jù)信息。
協(xié)議,HTTP,MySql,Dubbo,Redis等,需要先進(jìn)行分析,找到關(guān)鍵插樁位置,然后結(jié)合使用設(shè)計(jì)模式進(jìn)行收集(所需)信息。
設(shè)計(jì)模式推薦兩個(gè),1、反射+適配器,2、動(dòng)態(tài)代理。
需要注意,代碼膨脹問題。
>影響范圍
假如有個(gè)應(yīng)用系統(tǒng)開發(fā)出A版本提測,通過前端功能發(fā)起HTTP接口,平臺的實(shí)時(shí)快照收到HTTP接口信息,將該次的接口相關(guān)信息(類、方法、執(zhí)行代碼行數(shù))保存為系統(tǒng)快照; 當(dāng)A版本開發(fā)后變?yōu)锳_01版本,使用平臺對兩次版本(Jar包或War包)進(jìn)行比對,通過系統(tǒng)快照中信息會(huì)分析出變更項(xiàng)與影響項(xiàng),如:類、方法、接口。
根據(jù)影響用例中的菜單與接口,到接口測試工具中進(jìn)行執(zhí)行。
>實(shí)現(xiàn)與應(yīng)用
通過數(shù)據(jù)進(jìn)行可視化,顯示服務(wù)/應(yīng)用的啟動(dòng),拓?fù)鋱D,調(diào)用鏈,代碼覆蓋,版本比對等信息。
>>項(xiàng)目列表
添加,服務(wù)/應(yīng)用
>>項(xiàng)目動(dòng)態(tài)
啟動(dòng),服務(wù)/應(yīng)用
1、搜索
可顯示多個(gè)服務(wù)/應(yīng)用的拓?fù)潢P(guān)系圖
1)詳情視圖
?表結(jié)構(gòu),可查看接口與數(shù)據(jù)庫表間的關(guān)聯(lián)
?熱點(diǎn),可查看接口與數(shù)據(jù)庫表的關(guān)聯(lián)個(gè)數(shù)
2)展開快照
這里顯示的節(jié)點(diǎn)是保存到系統(tǒng)快照的。
?表結(jié)構(gòu)-數(shù)據(jù)庫表,遠(yuǎn)程服務(wù)-調(diào)用的rpc接口,源碼-代碼關(guān)系圖層;
?遠(yuǎn)程服務(wù),顯示遠(yuǎn)程調(diào)用接口,如dubbo接口;
?源代碼關(guān)系圖譜,可查看代碼關(guān)聯(lián)關(guān)系和覆蓋程度;
?清除圖譜,清除表結(jié)構(gòu)、遠(yuǎn)程服務(wù)、源代碼關(guān)系節(jié)點(diǎn);
?詳情頁,跳轉(zhuǎn)到快照詳情頁;
?概要,顯示快照詳情中圖片;
?刪除節(jié)點(diǎn),刪除顯示的節(jié)點(diǎn);
3)搜索
?搜索數(shù)據(jù)庫表中,表名,字段名,篩選條件;
?搜索接口,HTTP接口;
2、監(jiān)控臺
通過HTTP接口實(shí)時(shí)獲取到協(xié)議、代碼相關(guān)信息,不同于通過單元測試得到代碼覆蓋率,然后將這些信息保存下來(我的快照和系統(tǒng)快照)。
1)實(shí)時(shí)監(jiān)控
實(shí)時(shí)展示接口的調(diào)用鏈及鏈上各節(jié)點(diǎn)信息
2)我的快照
實(shí)時(shí)監(jiān)控中可保存為我的快照,
2.1)調(diào)用鏈和鏈路分析的可視化
調(diào)用鏈即是服務(wù)與中間件的調(diào)用鏈拓?fù)鋱D層;鏈路分析即是代碼鏈路分析關(guān)系圖譜。
?"流程圖(拓?fù)鋱D)"中可查看到覆蓋后端及各中間件信息;
?"堆棧列表"中展示服務(wù)與中間件的應(yīng)用名,類型,服務(wù)/方法,用時(shí)等信息;
?點(diǎn)擊""彈窗為代碼圖譜(代碼鏈路分析關(guān)系圖譜),點(diǎn)擊某個(gè)節(jié)點(diǎn),即顯示某個(gè)方法的方法名稱、執(zhí)行到的代碼行數(shù)、代碼總數(shù)、代碼覆蓋率和圈復(fù)雜度信息,
根據(jù)某個(gè)尾節(jié)點(diǎn),能尋到開始節(jié)點(diǎn);
2.2)查看代碼覆蓋率報(bào)告
代碼覆蓋率信息列表,顯示我的快照列表中所有覆蓋率信息,類名、方法名、執(zhí)行代碼行數(shù)、方法行數(shù)、覆蓋率、圈復(fù)雜度;
3、應(yīng)用中心
1)在線應(yīng)用
2)應(yīng)用
2.1)系統(tǒng)快照
快照目錄,點(diǎn)擊鏈接進(jìn)入系統(tǒng)快照詳情頁
系統(tǒng)快照詳情頁,基本信息頁簽
系統(tǒng)快照詳情頁,流程圖頁簽
系統(tǒng)快照詳情頁,堆棧列表頁簽,點(diǎn)擊打開代碼關(guān)系圖層(代碼關(guān)系鏈)
2.2)版本比對
比對文件格式為Jar或War包,比對之后會(huì)產(chǎn)生記錄報(bào)告
開始比對后的結(jié)果顯示,能查看報(bào)告,顯示差異項(xiàng),(比對)日志輸出(新增、修改、變更、刪除的文件與方法,類與方法的影響數(shù))
2.2.1)報(bào)告
比對成功后查看報(bào)告,顯示變更項(xiàng),影響用例,對比日志;點(diǎn)擊影響用例鏈接,會(huì)跳轉(zhuǎn)到(系統(tǒng))快照詳情頁
參考
1、百度百科-精準(zhǔn)測試, https://baike.baidu.com/item/精準(zhǔn)測試/22355867?
2、精準(zhǔn)測試白皮書v3.0-2019最新版,作者:星云精準(zhǔn)測試, https://wenku.baidu.com/view/fe7e99a401d276a20029bd64783e0912a2167c23.html
3、《不測的秘密-精準(zhǔn)測試之路》,作者:TMQ精準(zhǔn)測試實(shí)踐團(tuán)隊(duì)。
4、源碼閱讀網(wǎng):http://www.coderead.cn/home/index.html?
5、網(wǎng)易嚴(yán)選的精準(zhǔn)測試實(shí)踐, https://www.infoq.cn/article/xuu91crqa4hcjz8uomjs
?審核編輯 黃宇
-
測試
+關(guān)注
關(guān)注
8文章
5708瀏覽量
128927
發(fā)布評論請先 登錄
什么是探索性測試ET
chroma16502數(shù)字電橋電阻電容電感測試儀 測試精準(zhǔn)chroma16502電阻測試儀
YIE002開發(fā)探索之RS4852串口
星云測試--測試數(shù)字化轉(zhuǎn)型之精準(zhǔn)測試與用例引擎的雙輪驅(qū)動(dòng)

探索編碼器之電機(jī)步進(jìn)跟蹤器

探索 MEMS 可編程 LVCMOS 振蕩器 SiT8009 系列:精準(zhǔn)與靈活的時(shí)脈先鋒

評論