作者 |熊一衡華東師范大學(xué)軟件工程學(xué)院博士

蘇亭 華東師范大學(xué)軟件工程學(xué)院教授

版塊 |鑒源論壇 · 觀模

社群 |添加微信號(hào)“TICPShanghai”加入“上?？匕?1fusa安全社區(qū)”

在軟件開發(fā)的生命周期中，測(cè)試是至關(guān)重要的一環(huán)。為了確保軟件產(chǎn)品的質(zhì)量，開發(fā)團(tuán)隊(duì)需要進(jìn)行全面的測(cè)試，以發(fā)現(xiàn)和修復(fù)軟件中潛在的缺陷和問題。傳統(tǒng)的人工測(cè)試雖然有效，但卻耗時(shí)耗力，且成本較高。為了提高測(cè)試效率和準(zhǔn)確性，自動(dòng)化測(cè)試已經(jīng)成為一個(gè)重要的研究領(lǐng)域。

圖1 自動(dòng)化測(cè)試技術(shù)

圖1介紹了現(xiàn)有的幾種自動(dòng)化測(cè)試方法 [1]。X軸表示Feature compliance，即測(cè)試是否覆蓋測(cè)試人員想要測(cè)試的功能，而Y軸表示 Input scope covered， 表示測(cè)試輸入的覆蓋程度。可以看出，在圖的右上角缺了一塊，即同時(shí)滿足high feature compliance和full input scope covered 的測(cè)試技術(shù)。這個(gè)技術(shù)就是接下來要介紹的基于性質(zhì)的測(cè)試技術(shù)（property-based testing）。

01

什么是基于軟件性質(zhì)的自動(dòng)化測(cè)試技術(shù)

基于軟件性質(zhì)的測(cè)試（property-based testing）是一種很受歡迎的自動(dòng)化測(cè)試技術(shù)，其原理是測(cè)試人員編寫適用于待測(cè)軟件的真實(shí)邏輯語句（即性質(zhì)），然后使用自動(dòng)化測(cè)試工具生成大量的測(cè)試輸入，以充分測(cè)試待測(cè)軟件，并驗(yàn)證測(cè)試人員編寫的性質(zhì)是否得以滿足 [2]。如果性質(zhì)被違反，則表明軟件可能存在錯(cuò)誤（bug）。例如，下圖是一個(gè)待測(cè)程序`my_sort()`，其功能是對(duì)輸入的序列進(jìn)行排序，并返回排序后的序列。

圖2 待測(cè)程序

為了測(cè)試`my_sort()`, 通常測(cè)試人員會(huì)編寫單元測(cè)試用例。編寫傳統(tǒng)的單元測(cè)試需要人工指定測(cè)試輸入和預(yù)期輸出。如下圖所示，有6個(gè)測(cè)試用例來測(cè)試待測(cè)程序。然而，這種方法的缺點(diǎn)在于它非常耗人力，因?yàn)閷?duì)于每一個(gè)測(cè)試輸入，我們都需要手動(dòng)去指定相應(yīng)的測(cè)試輸出。此外，測(cè)試的輸入有限，依賴于測(cè)試人員的知識(shí)，因此難以充分測(cè)試待測(cè)程序。

圖3 單元測(cè)試用例

然而，如果使用property-based testing，我們僅僅編寫一個(gè)測(cè)試方法就可以覆蓋所有的測(cè)試輸入。一開始，我們根據(jù)待測(cè)程序的理解，給出待測(cè)程序應(yīng)該有的性質(zhì)（property）。比如，my_sort()應(yīng)該滿足的一個(gè)性質(zhì)為：返回list中的每一個(gè)元素都不應(yīng)該大于它們之后的一個(gè)元素。根據(jù)這個(gè)性質(zhì)，我們就可以編寫出一個(gè)測(cè)試用例。注：我們以面向python語言的property-based testing 框架hypothesis為例來編寫。

圖4 Property-based testing測(cè)試用例

如上圖所示，代碼的第一行 `@given(st.lists(st.integers())` 是一個(gè)裝飾器，表示一旦測(cè)試開始，Hypothesis 將生成大量隨機(jī)的list作為`test_prop_ordered()`函數(shù)的輸入。每一個(gè)生成的list都將作為參數(shù)xs傳遞給`test_prop_ordered()`函數(shù)，并執(zhí)行函數(shù)體，然后驗(yàn)證assert 語句是否為真。這樣，我們就可以自動(dòng)化生成足夠多的list來驗(yàn)證待測(cè)程序是否滿足我們?cè)O(shè)定的性質(zhì)，而不用人為地去指定具體的測(cè)試輸入和輸出數(shù)據(jù)，大大提高了測(cè)試效率。

02

如何進(jìn)行基于軟件性質(zhì)的自動(dòng)化測(cè)試

上節(jié)介紹了Property-based testing的概念，這節(jié)介紹如何進(jìn)行基于軟件性質(zhì)的自動(dòng)化測(cè)試。我們用一個(gè)通用的模板來解釋如何進(jìn)行property-based testing:

圖5 property-based testing模板

第一步：確定你想要測(cè)試的程序性質(zhì)。如圖5中第三行所示，測(cè)試人員通過對(duì)待測(cè)程序的理解來確定想要測(cè)試的程序性質(zhì)。例如，在圖4中，該測(cè)試用例旨在驗(yàn)證以下程序性質(zhì)：排好序的list中每一個(gè)元素都不應(yīng)該大于其后的元素。如果在測(cè)試過程中違反了這個(gè)性質(zhì)，那么表明待測(cè)程序可能出現(xiàn)了一個(gè)Bug。

第二步：確定測(cè)試輸入類型及范圍。在完成第一步后，測(cè)試人員應(yīng)該確定將要傳遞給待測(cè)程序的測(cè)試輸入的類型和范圍，如圖5中第一，二行所示。例如，在圖4中，由于待測(cè)程序的功能是對(duì)list中的元素的大小進(jìn)行排序，那么測(cè)試輸入應(yīng)該是list。同時(shí)，由于排序涉及到元素的大小比較，因此列表中的元素應(yīng)該是數(shù)字。在這里，我們選擇了整數(shù)（integer）作為元素類型。

第三步：編寫并運(yùn)行測(cè)試用例。目前，針對(duì)不同的軟件或者程序語言，開發(fā)人員已經(jīng)開發(fā)出了多種基于性質(zhì)的測(cè)試框架（Java: QuickTheories, Python: Hypothesis, C++: RapidCheck, Scala: ScalaCheck, JavaScipt: fast-check, Ruby: Rantly, Swift: Swiftcheck等等）[3-9]。一旦選擇了適合的測(cè)試框架，我們就可以利用測(cè)試框架編寫出相應(yīng)的測(cè)試用例并且運(yùn)行它們。

03

如何選擇合適的軟件性質(zhì)

前兩節(jié)介紹了property-based testing的概念以及如何進(jìn)行property-basedtesting，我們可以看出property-based testing是一個(gè)非常高效的測(cè)試技術(shù)。然而，當(dāng)測(cè)試人員真正開始編寫測(cè)試用例的時(shí)候，他們經(jīng)常會(huì)碰見一個(gè)問題：應(yīng)該選擇什么樣的性質(zhì)來進(jìn)行測(cè)試？因此，在本節(jié)中，我們將介紹一下比較通用的性質(zhì) [10],希望可以啟發(fā)到測(cè)試人員如何選擇合適的軟件性質(zhì)。

性質(zhì)1：對(duì)稱性（Symmetry）。如下圖所示。如果能夠?qū)⒛承┲缔D(zhuǎn)換成其他值，然后再轉(zhuǎn)換回來，那么它應(yīng)該和原值保持一致。例如，序列化（Serialization）就是一個(gè)典型的例子。將文本轉(zhuǎn)化成一個(gè)對(duì)象，然后將該對(duì)象轉(zhuǎn)換回來，則文本應(yīng)該保持不變。

圖 6 對(duì)稱性

性質(zhì)2：交換性（Commutativity）。該性質(zhì)指的是改變執(zhí)行操作的順序，但是最終結(jié)果不會(huì)變化。例如，如下圖所示，將一個(gè)list頭部加入一個(gè)元素，再將其尾部加入一個(gè)元素，如果將這兩個(gè)操作的順序交換，最終得到的list應(yīng)該是相同的。

圖 7 交換性

性質(zhì)3：不變性（Invariants）。該性質(zhì)指的是執(zhí)行某些操作后，并不會(huì)改變測(cè)試對(duì)象的某些性質(zhì)。例如，如下圖所示，將一個(gè)數(shù)組排序后，該數(shù)組的長度應(yīng)該保持不變。

圖 8 不變性

性質(zhì)4：冪等性（Idempotence）。該性質(zhì)一般指多次執(zhí)行某種操作和執(zhí)行一次某種操作帶來的效果應(yīng)該是一樣的。例如，如下圖所示，對(duì)于一個(gè)列表，對(duì)其進(jìn)行一次排序和多次排序，最終結(jié)果應(yīng)該是相同的。

圖 9 冪等性

性質(zhì)5：推導(dǎo)性（induction）。該性質(zhì)通常指的是，如果一個(gè)大的對(duì)象可以分成更小的對(duì)象，并且對(duì)于某些性質(zhì)來說在這些小的對(duì)象上成立，那么可以證明這些性質(zhì)在大的對(duì)象上也成立。例如，如下圖所示。如果黑色集合中含有某個(gè)元素，那么紅色、藍(lán)色、綠色、黑色的大集合中也應(yīng)該有某個(gè)元素。

圖 10 推導(dǎo)性

04

總結(jié)

基于性質(zhì)的測(cè)試在近些年已經(jīng)成為了一個(gè)非常受歡迎的測(cè)試技術(shù)，并且開發(fā)者們已經(jīng)開發(fā)出了多種基于性質(zhì)的測(cè)試框架。這種技術(shù)有非常多的優(yōu)點(diǎn)，例如，理論上它可以覆蓋所有的可能的測(cè)試輸入，更充分地測(cè)試用戶關(guān)心的功能，以及降低測(cè)試成本。然而，由于其特性，也存在一些挑戰(zhàn)。例如，由于其只關(guān)心想要測(cè)試的性質(zhì)，那么就導(dǎo)致對(duì)于某個(gè)性質(zhì)測(cè)試得很充分，對(duì)于其他性質(zhì)就根本沒有測(cè)試到。此外，測(cè)試人員需要足夠了解待測(cè)軟件，以抽象出應(yīng)該保持的性質(zhì)，這對(duì)測(cè)試人員的要求比較高。另外，開發(fā)一個(gè)高效的基于性質(zhì)的測(cè)試框架對(duì)于開發(fā)人員來說也是一個(gè)大的挑戰(zhàn)。開發(fā)人員需要思考如何使測(cè)試人員更輕松地編寫性質(zhì)，以及如何才能開發(fā)出更好的數(shù)據(jù)生成器等。最重要的是，基于性質(zhì)的自動(dòng)化測(cè)試技術(shù)并不意味著取代其他測(cè)試技術(shù)（例如，單元測(cè)試），而是可以與其他測(cè)試技術(shù)共存。測(cè)試人員應(yīng)該根據(jù)測(cè)試的需求，選擇合適的測(cè)試技術(shù)，使其更好地服務(wù)于軟件測(cè)試。

審核編輯 黃宇