如今，人工智能已成為普遍的流行語，但大多數(shù)消費(fèi)者可能不知道它如何與日常生活息息相關(guān)。分析人員和技術(shù)新聞界中的某些人可能還會嘲笑該術(shù)語用于某些幾乎不像真正的人工智能的技術(shù)的頻率。也就是說，除了強(qiáng)大的數(shù)據(jù)中心外，還有一些平臺對于AI處理和驅(qū)動它們的NN（神經(jīng)網(wǎng)絡(luò)）來說是很自然的。其中之一是AI推理（使用AI推理信息，而不是訓(xùn)練NN）在邊緣和口袋中，使用智能手機(jī)。

就像您想象的那樣，從Android到Apple的智能手機(jī)平臺差別很大，但是語音-文本翻譯和推薦器引擎（例如Google Assistant和Siri）等常見工作負(fù)載大量使用了常見的AI NN模型，在設(shè)備上執(zhí)行此操作可提高速度和延遲。

衡量移動設(shè)備中的AI性能

隨著任何新設(shè)備的推出以及熱門新應(yīng)用的出現(xiàn)，精通技術(shù)的消費(fèi)者和技術(shù)媒體成員希望能夠衡量和收集各種移動生態(tài)系統(tǒng)中設(shè)備的相對性能。此外，目前智能手機(jī)測試和評論中的AI處理性能正在發(fā)展，因此，在主要的應(yīng)用商店中當(dāng)然會出現(xiàn)多種工具，這些工具聲稱能夠測量電話和其他移動設(shè)備的AI性能。而且-您猜對了-這些應(yīng)用程序的創(chuàng)建肯定不盡相同。

為了解決這個問題，Marco和我深入研究了HotHardware，分析了三種主流AI基準(zhǔn)測試中各種旗艦Android手機(jī)的性能，這些基準(zhǔn)在某些情況下會產(chǎn)生截然不同的結(jié)果。

關(guān)鍵是要更好地了解實(shí)際測試的特定基準(zhǔn)度量標(biāo)準(zhǔn)。測試是否代表盡可能接近實(shí)際的工作負(fù)載？理想的基準(zhǔn)測試使用的是消費(fèi)者可能會使用的實(shí)際應(yīng)用程序，但短短的基準(zhǔn)測試可以使用流行應(yīng)用程序的相同核心軟件組件來代表實(shí)際的性能期望。在這種情況下，這意味著我們需要了解這些基準(zhǔn)測試工具要針對哪些NN進(jìn)行測試，以及要使用哪些數(shù)學(xué)精度和AI算法來處理這些工作量。

什么是AI基準(zhǔn)測試的正確標(biāo)準(zhǔn)？

使移動設(shè)備具有良好的AI基準(zhǔn)的原因是一個相對較深的細(xì)微差別，但總之是幾乎所有的移動NPU（神經(jīng)處理單元或?qū)Ｓ肁I引擎）都采用INT8或量化數(shù)學(xué)精度或FP16浮點(diǎn)精度，例如利用ResNet-34或Google的DeepLab-v3等流行的NN在應(yīng)用中進(jìn)行圖像分類和分割。那是貓還是狗？該相機(jī)拍攝應(yīng)采用哪種顏色平衡？這些問題是AI試圖從電話環(huán)境中推斷出答案的問題，至少在成像工作負(fù)載示例中，盡管還有很多其他問題。

當(dāng)前，INT8精度被認(rèn)為足以滿足大多數(shù)消費(fèi)類移動應(yīng)用的需求，并且壓縮技術(shù)和高級量化技術(shù)的進(jìn)步繼續(xù)提高了移動設(shè)備上的INT8精度，同時仍然獲得了與FP16相比更低的功耗。FP16提供更好的精度，但在關(guān)鍵的智能手機(jī)功耗預(yù)算上成本更高。

結(jié)果，大多數(shù)支持AI的移動應(yīng)用都采用INT8來提高電源效率。但是，并非所有可用的基準(zhǔn)測試都以相同的方式權(quán)衡了移動平臺的性能。一些應(yīng)用程序強(qiáng)調(diào)FP16的精度，即使實(shí)際上它的使用頻率不如INT8那樣高。此外，高通公司和其他公司的AI平臺SDK（軟件開發(fā)套件）針對INT 8進(jìn)行了高度優(yōu)化。因此，問題來了，就這些手機(jī)的真實(shí)AI性能而言，其中一些基準(zhǔn)測試應(yīng)用程序的各種測試結(jié)果到底意味著什么？和其他移動設(shè)備？從HotHardware收集的分?jǐn)?shù)中可以看出，高通和華為在一些領(lǐng)先的移動硅平臺上的排名大相徑庭。顯而易見，高通公司Snapdragon 865設(shè)備在INT8 NPU處理吞吐量方面以及在移動應(yīng)用中可能更接近于當(dāng)前的實(shí)際AI性能方面似乎占據(jù)了領(lǐng)先地位。還值得指出的是，高通的Snapdragon移動平臺目前還為美國絕大多數(shù)Android手機(jī)提供支持，因此該公司對生態(tài)系統(tǒng)的影響深遠(yuǎn)。

分析師從移動AI的早期發(fā)展中汲取靈感

邊緣的人工智能和機(jī)器學(xué)習(xí)是一個瞬息萬變的領(lǐng)域，它提供的功能越來越強(qiáng)大且前景廣闊，將在許多方面豐富我們的日常生活。結(jié)果，基準(zhǔn)指標(biāo)和用于衡量它們的應(yīng)用程序也將必須隨著時間的推移而發(fā)展和變化。此外，與傳統(tǒng)的PC基準(zhǔn)一樣，新聞，技術(shù)愛好者和精明的消費(fèi)者將在未來幾天內(nèi)更加關(guān)注AI基準(zhǔn)，因?yàn)锳I成為移動體驗(yàn)和可用平臺解決方案中更為重要的組成部分市場。

因此，這些基準(zhǔn)應(yīng)用程序開發(fā)人員和媒體將有責(zé)任對構(gòu)成優(yōu)質(zhì)移動AI基準(zhǔn)的精要點(diǎn)以及對您自己的個人口袋AI助手的性能進(jìn)行更真實(shí)的衡量?，F(xiàn)在，如果基準(zhǔn)測試沒有采用常用的NN并切實(shí)代表INT8精度的重要性，您就不得不質(zhì)疑該測試對普通消費(fèi)者的價值。但是，這里沒有絕對值。當(dāng)前的格局正在以這種方式形成，但AI技術(shù)又以瘋狂的步伐發(fā)展，整個行業(yè)的其余部分將需要跟上發(fā)展。