關(guān)鍵詞： 測(cè)試 , 基準(zhǔn) , 電子裝置 , 系統(tǒng) , 評(píng)估

作者：Jim McGregor；          本文作者與共同作者Kevin Krewell皆為Tirias Research的資深分析師


最需要產(chǎn)業(yè)界同心協(xié)力的議題，卻往往最具爭(zhēng)議性，這實(shí)在是個(gè)很諷刺的狀況；在那些議題中，爭(zhēng)議性最大的又莫過(guò)于性能基準(zhǔn)測(cè)試(performance benchmarking)。幸好，我們正緩慢地朝正確的方向前進(jìn)，但還需要更多的努力。

測(cè)試基準(zhǔn)被廣泛應(yīng)用在評(píng)估各種電子裝置，為了取得高評(píng)價(jià)，芯片與系統(tǒng)供貨商都非常積極于目標(biāo)測(cè)試基準(zhǔn)的“優(yōu)化”；但有的時(shí)候那些優(yōu)化行動(dòng)卻更像是人為操縱?？萍夹侣劤涑庵还降幕鶞?zhǔn)檢驗(yàn)案例，那些只是冰山一角。

測(cè)試基準(zhǔn)還面臨其他的局限；技術(shù)創(chuàng)新的高速度使得透過(guò)能反映各種平臺(tái)上實(shí)際使用者體驗(yàn)的方式，精準(zhǔn)體驗(yàn)測(cè)試一套系統(tǒng)所有功能的任務(wù)成為挑戰(zhàn)。舉例來(lái)說(shuō)，影像擷取以及編輯功能也許涉及眾多芯片以及應(yīng)用程序編程接口(API)，要在Android、iOS與Windows手機(jī)平臺(tái)之間做有意義的比較，是白費(fèi)力氣的。

2014-8-4 15:05:06 上傳

下載附件 (28.7 KB)

一套優(yōu)良的測(cè)試基準(zhǔn)應(yīng)該包含五項(xiàng)要素

首先，最基本的是透明度(transparency)。測(cè)試基準(zhǔn)有時(shí)候只比黑盒子好一點(diǎn)，只提供測(cè)試結(jié)果數(shù)字，但對(duì)測(cè)試的過(guò)程或計(jì)分方法透露甚少；甚至有時(shí)候連被測(cè)試的功能或是所依循的標(biāo)準(zhǔn)都不明確。

測(cè)試基準(zhǔn)的擁有者往往以機(jī)密為理由，表示測(cè)試本身?yè)碛兄R(shí)產(chǎn)權(quán)或是利用了專屬信息；但我們認(rèn)為，測(cè)試基準(zhǔn)應(yīng)該是經(jīng)由一個(gè)跨產(chǎn)業(yè)的組織批準(zhǔn)，且(或)所有的計(jì)分方式應(yīng)是受公開審查的。此外，測(cè)試基準(zhǔn)應(yīng)該要包含受測(cè)功能與標(biāo)準(zhǔn)的列表。

優(yōu)良測(cè)試基準(zhǔn)的第二個(gè)要素，應(yīng)該是能受獨(dú)立驗(yàn)證的。通常基準(zhǔn)檢驗(yàn)執(zhí)行機(jī)構(gòu)會(huì)在公布結(jié)果之前先為其背書，有些使用者或供貨商也會(huì)自己上傳或進(jìn)行某些基準(zhǔn)檢驗(yàn)；雖然系統(tǒng)調(diào)節(jié)如超頻(overclocking)能對(duì)測(cè)試結(jié)果產(chǎn)生影響，與眾多用戶的平均測(cè)試成績(jī)差距太大的系統(tǒng)，通常會(huì)被懷疑。

第三個(gè)要素是，測(cè)試基準(zhǔn)需要某種形式的監(jiān)督，以確保測(cè)試程序的一致性；優(yōu)化在基準(zhǔn)檢驗(yàn)程序中是不應(yīng)該被容忍的，所有的平臺(tái)所接受的測(cè)試程序應(yīng)該都是相同的。

第四，一個(gè)真正的測(cè)試基準(zhǔn)，特別是移動(dòng)裝置的測(cè)試基準(zhǔn)，應(yīng)該要以某種形式的系統(tǒng)及測(cè)試來(lái)呈現(xiàn)。

特定零組件如CPU、GPU與內(nèi)存，很容易被挑出來(lái)測(cè)試，但其他如無(wú)線網(wǎng)絡(luò)鏈接性、傳感器性能、電池壽命、顯示器功能等卻很難量化；而任何一種移動(dòng)終端的終極測(cè)試應(yīng)該是使用者體驗(yàn)，優(yōu)良的測(cè)試基準(zhǔn)至少必須要能呈現(xiàn)這一點(diǎn)。最后一個(gè)測(cè)試基準(zhǔn)要素是會(huì)定期更新，最好是每年一次；產(chǎn)業(yè)界應(yīng)該停止使用不合時(shí)宜的測(cè)試基準(zhǔn)。

有鑒于眾多棘手的問(wèn)題，采用一系列基準(zhǔn)來(lái)評(píng)估各種技術(shù)或平臺(tái)，似乎被視為最佳實(shí)踐方式；這通常導(dǎo)致有一長(zhǎng)串的測(cè)試基準(zhǔn)，而且測(cè)試結(jié)果各不相同。當(dāng)使用者看到那些讓人眼花撩亂的不同測(cè)試結(jié)果，恐怕感到非常沮喪。

2014-8-4 15:05:08 上傳

下載附件 (20.6 KB)

一個(gè)新興的移動(dòng)終端測(cè)試基準(zhǔn)

有個(gè)好消息是，一個(gè)最近推出的移動(dòng)終端測(cè)試基準(zhǔn)AndEBench，可望能為以上種種問(wèn)題帶來(lái)解決方案；該基準(zhǔn)是由嵌入式微處理器測(cè)試基準(zhǔn)聯(lián)盟(Embedded Microprocessor Benchmark Consortium，EEMBC)所開發(fā)，聯(lián)盟成員包括ARM、Imagination Technologies、Intel、Marvell、Nvidia、Qualcomm與Samsung等大廠。

EEMBC還有管理委員會(huì)，能針對(duì)測(cè)試基準(zhǔn)的變更，以及可公布那些性能數(shù)據(jù)做最終裁決；該測(cè)試基準(zhǔn)的最新版本為AndEBench-Pro，是一個(gè)針對(duì)CPU、內(nèi)存、儲(chǔ)存、3D繪圖以及整體平臺(tái)性能的Java架構(gòu)測(cè)試，測(cè)試結(jié)果能以各自獨(dú)立、也能以匯總的形式來(lái)呈現(xiàn)。

2014-8-4 15:05:09 上傳

下載附件 (14.64 KB)

AndEBench-Pro測(cè)試基準(zhǔn)的各功能計(jì)分比重（來(lái)源：EEMBC）

目前AndEBench測(cè)試基準(zhǔn)只鎖定Android平臺(tái)，而且并不支持最新的標(biāo)準(zhǔn)如OpenGL ES 3.0、OpenCL等，此外也缺乏測(cè)試全系統(tǒng)功能，或者是可能與特定使用模式相關(guān)的特定應(yīng)用。不過(guò)該測(cè)試基準(zhǔn)符合所有上述的優(yōu)良測(cè)試基準(zhǔn)要素，包括測(cè)試程序、計(jì)分方法的透明度，提供經(jīng)管理單位驗(yàn)證的測(cè)試結(jié)果，測(cè)試程序的一致性，以及定期更新。

不過(guò)AndEBench還不夠完善，EEMBC還在為采用該測(cè)試基準(zhǔn)的模式訂定標(biāo)準(zhǔn)；而EEMBC也坦承，還需要更多的努力，來(lái)自產(chǎn)業(yè)界其他更多關(guān)鍵技術(shù)供貨商、行動(dòng)裝置制造商的參與是必要的，才能改善基準(zhǔn)檢驗(yàn)的程序并確保該基準(zhǔn)能支持不同的平臺(tái)。

長(zhǎng)久以來(lái)，測(cè)試基準(zhǔn)一直是產(chǎn)業(yè)界的爭(zhēng)議焦點(diǎn)；不該再抱怨，現(xiàn)在正是整個(gè)產(chǎn)業(yè)界采取行動(dòng)、為行動(dòng)裝置系統(tǒng)測(cè)試基準(zhǔn)開發(fā)更完善標(biāo)準(zhǔn)的時(shí)候！