人工智能公司通常會(huì)關(guān)注一個(gè)標(biāo)準(zhǔn)：每秒更多 tera 操作 (TOPS)。不幸的是，當(dāng)硅制造商宣傳他們的 TOPS 指標(biāo)時(shí)，他們并沒(méi)有真正提供準(zhǔn)確的指導(dǎo)。在大多數(shù)情況下，被炒作的數(shù)字并不是真正的 TOPS，而是峰值 TOPS。換句話說(shuō)，你認(rèn)為你在卡中獲得的 TOPS 數(shù)字實(shí)際上是芯片在一個(gè)非常完美的世界中表現(xiàn)的最佳情況。

我將討論行業(yè)因錯(cuò)誤標(biāo)記性能指標(biāo)而造成的問(wèn)題，并解釋用戶如何獨(dú)立評(píng)估現(xiàn)實(shí)世界的 TOPS。

人造上衣與真上衣

AI 應(yīng)用程序開(kāi)發(fā)人員通常會(huì)通過(guò)衡量芯片制造商發(fā)布的 TOPS 性能數(shù)據(jù)是否足以支持他們的項(xiàng)目來(lái)開(kāi)始進(jìn)行盡職調(diào)查。

假設(shè)您嘗試在 U-Net 神經(jīng)網(wǎng)絡(luò)上以 10 fps（每秒幀數(shù)）重新制作全高清圖像。由于 U-Net 操作每張圖像需要 3 TOPS，簡(jiǎn)單的數(shù)學(xué)表示您需要 30 TOPS 才能以所需的 FPS 完成項(xiàng)目。因此，在購(gòu)買芯片時(shí)，您會(huì)假設(shè)聲稱運(yùn)行 50、40 甚至 32 TOPS 的卡對(duì)項(xiàng)目來(lái)說(shuō)是安全的。在一個(gè)完美的世界里，是的，但你很快就會(huì)發(fā)現(xiàn)這張卡很少能達(dá)到廣告的數(shù)字。而且我們不是在談?wù)搩H僅幾滴TOPS；計(jì)算效率可低至 10%。

雖然調(diào)整神經(jīng)網(wǎng)絡(luò)以從卡中獲得更好的性能當(dāng)然是可能的，但您幾乎不可能接近供應(yīng)商列出的峰值 TOPS。試圖獲得 60% 或 70% 的計(jì)算效率將耗費(fèi)大量時(shí)間。如果神經(jīng)網(wǎng)絡(luò)發(fā)生任何變化，您將不得不回到原點(diǎn)重新優(yōu)化所有內(nèi)容——但它甚至可能不適用于您的應(yīng)用程序。這個(gè)問(wèn)題對(duì)于小批量處理尤其明顯；你會(huì)很幸運(yùn)能獲得超過(guò) 15% 的峰值 TOPS。

計(jì)算效率

此時(shí)，您可能想知道如何計(jì)算真正的 TOPS。這很簡(jiǎn)單！

要了解特定卡將提供多少真實(shí) TOPS，您首先需要確定該卡的計(jì)算效率。理想情況下，這可以通過(guò)簡(jiǎn)單地在目標(biāo)卡上運(yùn)行所需的神經(jīng)網(wǎng)絡(luò)來(lái)完成。但是，您可能沒(méi)有該卡。您仍然可以通過(guò)查看供應(yīng)商的營(yíng)銷數(shù)據(jù)的詳細(xì)信息來(lái)進(jìn)行估算。通?？梢垣@得像 ResNet50（或類似的）這樣的神經(jīng)網(wǎng)絡(luò)的性能數(shù)據(jù)。假設(shè)這是一個(gè)典型的 ResNet50 實(shí)現(xiàn)，您可以找到計(jì)算單個(gè)圖像的每秒千兆操作數(shù)（GOPS，而不是 TOPS）。然后，只需將其乘以供應(yīng)商宣傳的每秒圖像數(shù) (IPS)，瞧！您就有了更真實(shí)的 TOPS 或“真實(shí)”TOPS。

效率只是 real 除以峰值 TOPS 的比率，或者：

峰值 TOPS x 計(jì)算效率 = 實(shí)際 TOPS

這個(gè)公式使用戶能夠在購(gòu)買任何東西之前比較卡在運(yùn)行神經(jīng)網(wǎng)絡(luò)時(shí)的真實(shí)效率。您可以使用所需的 TOPS 重用效率，看看它是否符合您的需求。雖然功率和批量大小等因素會(huì)影響結(jié)果，但如果您知道卡的效率，則此公式可以很好地估計(jì)其在實(shí)際用例中的實(shí)際性能。當(dāng)然，供應(yīng)商發(fā)布的神經(jīng)網(wǎng)絡(luò)的 IPS 仍然可以質(zhì)疑，但至少估計(jì)比比較你真正需要的 TOPS 和一張卡的峰值 TOPS 更好。

還值得注意的是，這不僅僅是 GPU 問(wèn)題。大多數(shù)專業(yè) ASIC 的實(shí)際效率非常低，即使他們的營(yíng)銷促進(jìn)了高效率。只需使用 IPS、已知的網(wǎng)絡(luò) GOPS 和簡(jiǎn)單的乘法運(yùn)算，您就可以了解一個(gè)真實(shí)的數(shù)字。

高效的替代品

盡管 GPU 和 ASIC 都在效率和性能上苦苦掙扎，但有一種替代解決方案不涉及這些芯片中的任何一個(gè)。

2020 年 10 月的 MLPerf 結(jié)果表明，與推理加速相結(jié)合的 FPGA 比其他替代方案的效率要高得多，因此可以更接近其他芯片制造商宣傳的最高 TOPS 數(shù)。

比較不同架構(gòu)下每個(gè)發(fā)布的 TOPS 數(shù)據(jù)的每秒幀數(shù) (FPS)（來(lái)源：Mipsology）

FPGA 不僅在計(jì)算方面更高效，而且在計(jì)算硅片使用方面也更高效。從本質(zhì)上講，這些卡“事半功倍”，從而以一小部分成本獲得更好的神經(jīng)網(wǎng)絡(luò)性能。

值得重復(fù)一遍：買家不應(yīng)該因?yàn)?TOPS 營(yíng)銷炒作而墮落。這是一個(gè)夸大的性能數(shù)字，大多數(shù)神經(jīng)網(wǎng)絡(luò)在現(xiàn)實(shí)條件下永遠(yuǎn)不會(huì)看到。相反，利用這個(gè)公式：

峰值 TOPS x 計(jì)算效率 = 實(shí)際 TOPS

這樣做將幫助您快速、輕松、準(zhǔn)確地將您的性能需求與芯片的實(shí)際性能進(jìn)行比較，而不是任何夸大的供應(yīng)商聲稱。

——Ludovic Larzul 是 Mipsology 的創(chuàng)始人兼首席執(zhí)行官。

審核編輯 黃昊宇