本文由TechSugar編譯自electronicdesign

當(dāng)大多數(shù)人想到人工智能（AI）時(shí)，他們通常能想到的是能夠生成新文本、圖像或語(yǔ)音內(nèi)容的應(yīng)用。像ChatGPT這樣流行的文本應(yīng)用（在幾天內(nèi)就吸引了超過(guò)100萬(wàn)用戶）在市場(chǎng)上迅速崛起并被廣泛采用。而手機(jī)用戶則經(jīng)常使用語(yǔ)音搜索功能。

這些應(yīng)用有什么共同點(diǎn)呢？它們都依賴于云端來(lái)處理AI工作負(fù)載。盡管云端生成式AI的成本高昂，但其具有的幾乎無(wú)限的內(nèi)存能力和電力容量意味著基于云的應(yīng)用將繼續(xù)推動(dòng)這些流行的生成式AI應(yīng)用的發(fā)展。

然而，令許多設(shè)計(jì)工程師、嵌入式工程師和數(shù)據(jù)科學(xué)家更為擔(dān)憂的是，邊緣AI應(yīng)用的爆炸式增長(zhǎng)。在邊緣設(shè)備上執(zhí)行復(fù)雜的生成式AI任務(wù)帶來(lái)了許多新的挑戰(zhàn)，如：

實(shí)時(shí)處理需求

嚴(yán)格的成本要求

有限的內(nèi)存資源

緊湊的空間要求

強(qiáng)制性的功耗預(yù)算

挑戰(zhàn)1：實(shí)時(shí)處理需求

AI云最大的缺點(diǎn)之一就是在數(shù)據(jù)的發(fā)送和接收過(guò)程中存在延遲。對(duì)于像ChatGPT這樣的應(yīng)用來(lái)說(shuō)，這并不是問(wèn)題，因?yàn)橛脩舨粫?huì)注意到這幾秒鐘的延遲，他們可以等待幾秒鐘來(lái)完成文本生成。然而，在許多邊緣應(yīng)用中，這種延遲是不可接受的。

例如，在自動(dòng)駕駛汽車(chē)應(yīng)用中，根據(jù)識(shí)別到的人和其他車(chē)輛等圖像來(lái)進(jìn)行轉(zhuǎn)向和制動(dòng)，做這些攸關(guān)生死的決定至關(guān)重要。等待與云端通信的延遲是完全不可接受的。邊緣AI應(yīng)用必須能夠在數(shù)據(jù)被收集的邊緣位置實(shí)時(shí)處理數(shù)據(jù)，以滿足這些對(duì)時(shí)間敏感應(yīng)用的要求。

挑戰(zhàn)2：嚴(yán)格的成本要求

對(duì)于擁有龐大客戶基礎(chǔ)的公司而言，使用昂貴的云解決方案來(lái)處理其AI工作負(fù)載，從財(cái)務(wù)上而言是合理的。然而，在大多數(shù)邊緣應(yīng)用中，成本是一個(gè)關(guān)鍵因素，也是市場(chǎng)上打造具有競(jìng)爭(zhēng)力產(chǎn)品的關(guān)鍵因素。在合理的成本范圍內(nèi)有效增加生成式AI功能，對(duì)AI設(shè)計(jì)師和數(shù)據(jù)科學(xué)家來(lái)說(shuō)將是一個(gè)挑戰(zhàn)。

例如，在智慧城市應(yīng)用中，雖然希望為攝像頭和電力監(jiān)控系統(tǒng)增加高級(jí)功能，但這些功能必須保持在政府緊張的預(yù)算范圍內(nèi)。因此，云方案變得不切實(shí)際。低成本邊緣AI處理是必需的。

挑戰(zhàn)3：有限的內(nèi)存資源

AI云的另一個(gè)優(yōu)勢(shì)是其具有幾乎無(wú)限的內(nèi)存容量，這對(duì)于處理像精確文本分析和生成所需的大型數(shù)據(jù)集特別有用。然而，邊緣應(yīng)用并沒(méi)有這種奢侈的“條件”，因?yàn)樗鼈兊膬?nèi)存容量受到尺寸、成本和功耗的限制。在這種資源有限的情況下，如何以最大帶寬、高效地利用內(nèi)存對(duì)于邊緣應(yīng)用來(lái)說(shuō)變得至關(guān)重要。

挑戰(zhàn)4：緊湊的空間要求

數(shù)據(jù)中心位于寬敞的空間內(nèi)，因此，這些AI應(yīng)用不會(huì)像邊緣設(shè)計(jì)那樣經(jīng)常遇到空間問(wèn)題。無(wú)論是汽車(chē)設(shè)計(jì)中的有限儀表板下空間，還是航空航天應(yīng)用中的尺寸和重量考慮，邊緣設(shè)計(jì)通常都會(huì)遇到實(shí)施AI功能的空間限制。

這些設(shè)計(jì)必須滿足對(duì)計(jì)算和內(nèi)存資源的特定尺寸要求，以便在邊緣高效地處理AI工作負(fù)載。

挑戰(zhàn)5：強(qiáng)制性的功耗預(yù)算

功耗預(yù)算時(shí)基于邊緣的設(shè)計(jì)所面臨的最終挑戰(zhàn)，可能也是最為關(guān)鍵的。AI云消耗了大量的電力，但由于其可以直接接入電源，所以最終可歸結(jié)為電力成本。

在邊緣AI應(yīng)用中，電力可能很容易獲得。然而，功耗仍然是一個(gè)關(guān)鍵因素，因?yàn)樗趹?yīng)用的總體成本中可能占比比較高。在電池供電的邊緣AI應(yīng)用中，功耗的重要性更為突出，因?yàn)楦吖脑O(shè)備會(huì)縮短產(chǎn)品的使用壽命，這成為了一個(gè)關(guān)鍵考量因素。

解決邊緣AI設(shè)計(jì)挑戰(zhàn)的解決方案

因此，問(wèn)題就變成了：“工程師如何在實(shí)現(xiàn)所需功能的同時(shí)，應(yīng)對(duì)這些挑戰(zhàn)并開(kāi)發(fā)出成功的邊緣AI產(chǎn)品？”需要考慮的五個(gè)關(guān)鍵點(diǎn)如下：

1. 認(rèn)識(shí)到邊緣GPU的局限性

GPU在AI云應(yīng)用中具有許多優(yōu)勢(shì)，其特性與AI云應(yīng)用的需求高度契合。GPU具有強(qiáng)大的處理能力，AI云應(yīng)用可以充分利用這一優(yōu)勢(shì)，并且GPU能夠很好地滿足實(shí)時(shí)處理要求。然而，在考慮將GPU用于邊緣應(yīng)用時(shí)，還需要審視使用GPU的弱點(diǎn)。GPU的成本高于AI加速器，通常高出5倍至10倍，因此它們無(wú)法滿足邊緣AI的成本要求。GPU通常應(yīng)用于相當(dāng)大的封裝設(shè)備和大盒子中，往往無(wú)法滿足邊緣應(yīng)用的尺寸要求。最后，GPU消耗的功率遠(yuǎn)高于典型的AI加速器，也很難實(shí)現(xiàn)功耗預(yù)算。

2. 認(rèn)識(shí)到完整軟件解決方案的必要性

從歷史角度來(lái)看，許多AI加速器開(kāi)發(fā)者首先關(guān)注芯片設(shè)計(jì)，這是可以理解的。這仍然是高質(zhì)量邊緣AI解決方案的重要組成部分。然而，由于這些解決方案必須創(chuàng)建和修改軟件以適應(yīng)已經(jīng)確定的芯片設(shè)計(jì)，因此它們可能無(wú)法充分利用高效AI處理的所有可能方面。與過(guò)去工程設(shè)計(jì)公司中大多數(shù)設(shè)計(jì)師專注于硬件不同，現(xiàn)在軟件工程師的數(shù)量遠(yuǎn)遠(yuǎn)超過(guò)了硬件設(shè)計(jì)師，這使得軟件能力和易用性變得越來(lái)越重要。一個(gè)出色的整體AI解決方案需要軟件開(kāi)發(fā)，使芯片能夠盡可能高效地處理AI模型。先設(shè)計(jì)軟件，然后再設(shè)計(jì)芯片，這樣可以得到最佳的AI解決方案。

3. 輕松集成到現(xiàn)有系統(tǒng)

雖然一些AI設(shè)計(jì)可能要從頭開(kāi)始的，但更多時(shí)候，設(shè)計(jì)師們?cè)噲D將AI功能集成到現(xiàn)有系統(tǒng)中。通過(guò)添加AI處理能力，這些現(xiàn)有系統(tǒng)可以在保持相同外觀尺寸的同時(shí)，為終端用戶提供更多功能。能夠與當(dāng)前設(shè)計(jì)輕松集成的重要性不言而喻。因此，提供對(duì)廣泛現(xiàn)有處理器的異構(gòu)支持的AI解決方案將更容易將AI功能添加到現(xiàn)有設(shè)計(jì)中。

4. 高效的神經(jīng)網(wǎng)絡(luò)處理

最終，AI解決方案的整體有效性取決于神經(jīng)網(wǎng)絡(luò)能否高效地正確處理AI工作負(fù)載。盡管在眾多供應(yīng)商的方案中進(jìn)行篩選可能頗具挑戰(zhàn)性，但了解AI解決方案“內(nèi)核”的結(jié)構(gòu)和能力至關(guān)重要。我們需要了解模型是如何處理的，實(shí)施了哪些創(chuàng)新來(lái)提高處理效率，以及對(duì)比特定模型的處理性能。

5. DRAM的容量和帶寬

AI設(shè)計(jì)中一個(gè)經(jīng)常被忽視的方面是解決方案能夠有效利用內(nèi)存的能力。一些加速器解決方案的片上內(nèi)存有限或根本沒(méi)有，這會(huì)降低AI處理能力。訪問(wèn)片外內(nèi)存資源非常耗時(shí)，從而會(huì)顯著增加延遲。其他解決方案可能具備片上內(nèi)存，但如果DRAM帶寬不夠高，訪問(wèn)內(nèi)存的延遲也會(huì)限制AI處理能力。

尋找合適的邊緣AI解決方案供應(yīng)商

隨著AI從云端向邊緣端遷移，并在各行各業(yè)中得到越來(lái)越廣泛的應(yīng)用，嵌入式設(shè)計(jì)師正面臨諸多挑戰(zhàn)。選擇能夠支持當(dāng)前和未來(lái)邊緣AI解決方案的合適AI硬件供應(yīng)商，對(duì)于產(chǎn)品的成功實(shí)施至關(guān)重要。