在過去的三四年里，人工智能推理市場發(fā)生了巨大變化。以前，甚至不存在邊緣人工智能，大多數(shù)推理能力都發(fā)生在數(shù)據(jù)中心、超級(jí)計(jì)算機(jī)或政府應(yīng)用程序中，這些應(yīng)用程序通常也是大型計(jì)算項(xiàng)目。在所有這些情況下，性能都是至關(guān)重要的，并且始終是重中之重?？爝M(jìn)到今天，邊緣人工智能市場與此截然不同，尤其是當(dāng)它進(jìn)入更多商業(yè)應(yīng)用時(shí)。對(duì)于這些用例，主要關(guān)注點(diǎn)更多的是低成本、功耗和小尺寸；而更少關(guān)于原始性能。

通過硬件-軟件協(xié)同設(shè)計(jì)平衡更好的性能

在查看推理芯片時(shí)，很明顯一種芯片與另一種不同。設(shè)計(jì)師總是在他們的設(shè)計(jì)中做出選擇，而好的選擇會(huì)考慮他們的最終應(yīng)用以及他們?cè)谶@些應(yīng)用中的限制。例如，當(dāng) Flex Logix 設(shè)計(jì)其第一個(gè)推理芯片時(shí)，它最初的大小是現(xiàn)在的 4 倍。我們很快意識(shí)到，芯片需要更小才能在成本更低、功耗更低、外形尺寸更小的邊緣 AI 市場中占據(jù)一席之地。

有趣的是，大多數(shù)人最初認(rèn)為大多數(shù)推理總是在數(shù)據(jù)中心完成。這種觀點(diǎn)最終發(fā)生了變化，因?yàn)樾袠I(yè)意識(shí)到它有太多的數(shù)據(jù)需要移動(dòng)，因此，這些數(shù)據(jù)開始向邊緣移動(dòng)。隨著 5G 開始出現(xiàn)，更清楚的是，不可能始終將原始數(shù)據(jù)發(fā)送到云端進(jìn)行處理。顯然，邊緣必須有一定的智能才能解決 99.9% 的場景，而數(shù)據(jù)中心實(shí)際上只需要用于極端情況。一個(gè)完美的例子是安全攝像頭。邊緣 AI 需要能夠確定是否發(fā)生了任何可疑活動(dòng)以及周圍是否有人。然后，如果發(fā)現(xiàn)任何有趣的東西，這些部分可以發(fā)送到數(shù)據(jù)中心進(jìn)行進(jìn)一步處理。然而，發(fā)送到數(shù)據(jù)中心的數(shù)據(jù)實(shí)際上只是整體推理的一小部分。邊緣推理 AI 通常意味著要滿足很多約束，有時(shí)如果你想運(yùn)行非常大的復(fù)雜模型，你實(shí)際上只需要在很小一部分?jǐn)?shù)據(jù)上運(yùn)行這些模型。

早期邊緣 AI 推理設(shè)計(jì)的另一個(gè)誤解是，一刀切的方法就足夠了。這也被證明是錯(cuò)誤的，因?yàn)槌霈F(xiàn)了展示其優(yōu)勢(shì)和力量的專用芯片。關(guān)鍵是圍繞算法構(gòu)建芯片，因?yàn)槿绻娴哪茉谒惴ㄉ夏ゾ?，你可以獲得更好的性能。正確的平衡實(shí)際上是像專用硬件一樣獲得最有效的計(jì)算，但在編譯時(shí)具有可編程性。

可編程性是關(guān)鍵

該行業(yè)確實(shí)處于人工智能發(fā)展的風(fēng)口浪尖。在接下來的幾十年里，我們將在這個(gè)領(lǐng)域看到的創(chuàng)新將是驚人的。就像任何長壽的市場一樣，您可以期待變化。這就是為什么不為某些客戶模型設(shè)計(jì)超級(jí)專業(yè)的芯片變得至關(guān)重要的原因。如果我們今天這樣做，那么當(dāng)芯片在兩年后到達(dá)客戶手中時(shí)，模型可能會(huì)發(fā)生重大變化——客戶的要求也會(huì)發(fā)生變化。這就是我們不斷聽到有關(guān)公司最終獲得他們的人工智能推理芯片的故事的主要原因——然后發(fā)現(xiàn)它們的表現(xiàn)并沒有像他們需要的那樣。如果將可編程性內(nèi)置到芯片架構(gòu)中，則可以輕松解決該問題。

如今，在任何邊緣 AI 處理器中，AI 的靈活性和可編程性都至關(guān)重要?？蛻舻乃惴〞?huì)定期發(fā)生變化，系統(tǒng)設(shè)計(jì)也會(huì)發(fā)生變化。隨著 Edge AI 功能在主流中的推廣，越來越清楚的是，芯片設(shè)計(jì)人員需要能夠適應(yīng)和改變客戶模型，而不是根據(jù)他們“認(rèn)為”的模型來選擇它。我們一次又一次地看到這一點(diǎn)，這就是編譯器如此重要的原因。編譯器中有很多對(duì)最終用戶隱藏的技術(shù)，這些技術(shù)是圍繞分配資源以確保一切都以最少的功率高效完成的。

另一個(gè)被密切關(guān)注的關(guān)鍵特性是吞吐量。現(xiàn)在正在構(gòu)建好的推理芯片，以便它們可以非常快速地通過它們移動(dòng)數(shù)據(jù)，這意味著它們必須非?？焖俚靥幚磉@些數(shù)據(jù)，并且非?？焖俚貙⑵湟迫牒鸵瞥鰞?nèi)存。通常，芯片供應(yīng)商會(huì)拋出各種各樣的性能數(shù)據(jù)，例如 TOPS 或 ResNet-50，但研究這些數(shù)據(jù)的系統(tǒng)/芯片設(shè)計(jì)人員很快就會(huì)意識(shí)到這些數(shù)據(jù)通常毫無意義。真正重要的是推理引擎可以為模型、圖像大小、批量大小和過程以及 PVT（過程/電壓/溫度）條件提供多少吞吐量。這是衡量其性能表現(xiàn)的第一個(gè)衡量標(biāo)準(zhǔn)，但令人驚訝的是，很少有供應(yīng)商提供它。

邊緣人工智能向前發(fā)展

今天的許多客戶都渴望吞吐量，并正在尋找能夠以與他們現(xiàn)在使用的相同功率/價(jià)格為他們提供更高吞吐量和更大圖像尺寸的解決方案。當(dāng)他們得到它時(shí)，他們的解決方案將比競爭解決方案更準(zhǔn)確和可靠，然后他們的市場采用和擴(kuò)展將加速。因此，盡管今天的應(yīng)用程序有數(shù)千或數(shù)萬個(gè)單位，但我們預(yù)計(jì)隨著推理的可用性，這種情況會(huì)迅速增長，從而提供越來越多的吞吐量/美元和吞吐量/瓦特。

邊緣人工智能市場正在迅速增長，芯片供應(yīng)商也在這個(gè)市場上爭奪一席之地。事實(shí)上，到 2020 年代中期，人工智能銷售額迅速增長至數(shù)百億美元，其中大部分增長來自邊緣人工智能推理。沒有人可以預(yù)測(cè)未來的模型，這就是為什么在設(shè)計(jì)時(shí)考慮到靈活性和可編程性更為重要

審核編輯：郭婷