隨著人工智能的興起，曾經(jīng)“簡單”的設(shè)備變得越來越智能，導(dǎo)致計算設(shè)備比以往任何時候都多。

英特爾首席執(zhí)行官帕特·基辛格 (Pat Gelsinger) 在 2024 年 1 月 9 日舉行的 CES 2024 上發(fā)表主題演講，將探討通過創(chuàng)新和開放軟件賦能的硅如何為消費者和企業(yè)提供人工智能功能。第二天，高通總裁兼首席執(zhí)行官克里斯蒂亞諾·阿蒙將強調(diào)更多設(shè)備將如何無縫融入我們的生活；他將解釋說，在設(shè)備上普遍且持續(xù)運行的人工智能將改變用戶體驗，使用戶體驗更加自然、直觀、相關(guān)和個性化，同時需要提高即時性、隱私性和安全性。

這意味著越來越多的受限設(shè)備和傳感器中需要更多的機器學(xué)習(xí) (ML)，無論是物聯(lián)網(wǎng) (IoT)、工業(yè)自動化、自動駕駛和軟件定義車輛 (SDV) 還是健康領(lǐng)域和可穿戴設(shè)備。

在嵌入式世界中，以下趨勢能夠?qū)崿F(xiàn)其中的一些目標。

邊緣智能變得更好

蘋果剛剛發(fā)布的關(guān)于在內(nèi)存有限的資源受限設(shè)備上部署大型語言模型（LLM）的研究論文顯示，通過將模型參數(shù)存儲在閃存上，但按需將它們傳送到 DRAM，解決了高效運行超出可用 DRAM 容量的 LLM 的挑戰(zhàn)。

蘋果團隊在論文中表示，他們的方法涉及構(gòu)建一個與閃存行為相協(xié)調(diào)的推理成本模型，從而實現(xiàn)兩個關(guān)鍵領(lǐng)域的優(yōu)化：減少從閃存?zhèn)鬏數(shù)臄?shù)據(jù)量以及以更大、更連續(xù)的塊讀取數(shù)據(jù)。為此，他們引入了兩種技術(shù)，一種稱為“窗口”，通過重用先前激活的神經(jīng)元來戰(zhàn)略性地減少數(shù)據(jù)傳輸，另一種稱為“行列捆綁”，以增加從閃存讀取的數(shù)據(jù)塊的大小。

論文指出，“這些方法共同支持運行高達可用 DRAM 大小兩倍的模型，與 CPU 和 GPU 中的簡單加載方法相比，推理速度分別提高了 4-5 倍和 20-25 倍。我們將稀疏性意識、上下文自適應(yīng)加載和面向硬件的設(shè)計集成在一起，為在內(nèi)存有限的設(shè)備上有效推理 LLM 鋪平了道路?！?/p>

這表明該行業(yè)的總體發(fā)展方向是在邊緣部署更多的機器學(xué)習(xí)和推理。

RISC-V 的采用變得更加明顯

2023 年 8 月，多家公司宣布成立一家新的未命名公司，該公司將有助于加速 RISC-V 硬件在全球的商業(yè)化。上周，該公司被命名為Quintauris，亞歷山大·科赫 (Alexander Kocher) 被任命為首席執(zhí)行官。該公司總部位于德國慕尼黑，投資者包括博世、英飛凌、Nordic Semiconductor、NXP Semiconductors 和 Qualcomm Technologies。

該公司將成為支持基于 RISC-V 的兼容產(chǎn)品、提供參考架構(gòu)并幫助建立行業(yè)廣泛使用的解決方案的單一來源。最初的應(yīng)用重點將是汽車，但最終將擴展到移動和物聯(lián)網(wǎng)。

看看 Quintauris 如何與RISC-V International 并肩作戰(zhàn)將會很有趣。毫無疑問，行業(yè)協(xié)會負責(zé)維護指令集架構(gòu) (ISA) 規(guī)范，而 Quintauris 很可能成為需要現(xiàn)成參考板和系統(tǒng)進行自己開發(fā)的開發(fā)人員的資源。

當(dāng)許多評論者談?wù)?RISC-V 時，經(jīng)常忽略的一點是，開發(fā)人員正在設(shè)計基于異構(gòu)架構(gòu)的系統(tǒng)，因此多個 ISA 很可能成為芯片的一部分，而 RISC-V 則被部署用于各種功能。

咨詢公司 SHD Group 在 2023 年 11 月美國 RISC-V 峰會上提交了一份報告，強調(diào)其自己的 RISC-V 市場分析，預(yù)計今年將作為報告發(fā)布。在 2023 年 12 月向Embedded.com 舉行的簡報中，SHD Group 首席分析師 Richard Wawrzyniak 告訴我們：“我們處于一個異構(gòu)的世界。我們并不是說 RISC-V 正在占領(lǐng)世界，但生態(tài)系統(tǒng)正在構(gòu)建良好，其中包含設(shè)計人員創(chuàng)建自己的芯片所需的所有元素?！?/p>

SHD Group 的 RISC-V 市場收入預(yù)測

他的研究強調(diào)了內(nèi)置 RISC-V 的部件數(shù)量，而不是 RISC-V 內(nèi)核的實際數(shù)量。他說：有數(shù)十億臺 SoC 以任何形式或功能搭載 RISC-V。該報告研究了 6 個不同類別的 54 個應(yīng)用程序，預(yù)計到 2030 年，基于 RISC-V 的 SoC 的芯片收入將接近 1000 億美元，并將帶來 16 億美元的 IP 收入。研究預(yù)計到 2027 年左右，收入將從許可驅(qū)動型收入轉(zhuǎn)變?yōu)樘卦S權(quán)使用費驅(qū)動型收入。

Chiplet 業(yè)務(wù)將開始變得有點像 IP 業(yè)務(wù)

Chiplet 去年風(fēng)靡一時，到 2024 年，知識產(chǎn)權(quán) (IP) 業(yè)務(wù)可能會開始像大約 20 年前那樣。我們中的一些人可能還記得最初成立于 2000 年的Virtual Component Exchange，其目標是充當(dāng) IP 買家和賣家的門戶。

現(xiàn)在，小芯片是克服當(dāng)今機器學(xué)習(xí)密集型產(chǎn)品的海量計算需求挑戰(zhàn)的答案之一，而無需使用最先進（且昂貴）的工藝技術(shù)構(gòu)建單片芯片。正如去年加州Chiplet 峰會主席 Chuck Sobey 所說：“Chiplet 在提高芯片可擴展性、模塊化和靈活性方面可以發(fā)揮很大作用。但只有產(chǎn)品開發(fā)人員能夠快速且廉價地集成它們時，這個想法才有效。有效的集成平臺需要許多工具。所有領(lǐng)域的供應(yīng)商都必須提供一個平臺并支持生態(tài)系統(tǒng)和開源工作，以填補界面和軟件空白?！?/p>

零 ASIC 的 efabric 概念

2023 年該領(lǐng)域出現(xiàn)的最有趣的初創(chuàng)公司之一是 Zero ASIC，該公司表示他們正在通過小芯片設(shè)計和仿真平臺實現(xiàn)芯片制造的自主化。

該公司于 10 月份公開露面，提供 3D 小芯片可組合性以及基于全自動無代碼小芯片的芯片設(shè)計。該公司表示，其平臺能夠從已知良好的小芯片目錄中自動設(shè)計、驗證和組裝系統(tǒng)級封裝（SiP）。基于 Web 的設(shè)計和仿真工具允許用戶在訂購物理設(shè)備之前快速準確地測試定制設(shè)計，使用云 FPGA 在定制 SoC 中實現(xiàn)每個小芯片的 RTL 源代碼。

Chiplet 的激增以及使用各種來源的 Chiplet 的能力當(dāng)然取決于標準，但隨著UCIe（通用 Chiplet 互連快速）規(guī)范的發(fā)展，這已經(jīng)成為業(yè)界思考的一部分。

英偉達推動 AI/ML趨勢

最終，推動上述趨勢的是對機器學(xué)習(xí) (ML) 的需求。雖然沒有特別強調(diào)，但毫無疑問，特定領(lǐng)域的 AI/ML 將成為 2024 年的關(guān)鍵驅(qū)動因素。

數(shù)據(jù)的豐富性將是一個關(guān)鍵問題，因此開發(fā)人員無疑將更加密切地關(guān)注數(shù)據(jù)加密、硬件和連接層的網(wǎng)絡(luò)安全等領(lǐng)域，以及使用機器學(xué)習(xí)來解決這些問題。

多家公司都提供了他們對 2024 年的人工智能預(yù)測和趨勢。英偉達高管重點介紹了其對 2024 年的 17 個預(yù)測。該公司負責(zé)企業(yè)計算的副總裁 Manuvir Dav 表示，一種方法無法適應(yīng)所有情況，將有數(shù)百個客戶大語言模型 (LLM) 來提供準確、具體的知情響應(yīng)，以分析企業(yè)內(nèi)的大量數(shù)據(jù)；為了實現(xiàn)這一目標，開源軟件和現(xiàn)成的人工智能和微服務(wù)將發(fā)揮帶頭作用。

在醫(yī)療保健領(lǐng)域，英偉達醫(yī)療保健副總裁 Kimberly Powell 談到將儀器、成像、機器人技術(shù)和實時患者數(shù)據(jù)與人工智能相結(jié)合，以實現(xiàn)更好的外科醫(yī)生培訓(xùn)、手術(shù)期間更加個性化以及通過實時反饋和指導(dǎo)提高安全性，即使在遠程手術(shù)期間也是如此。她說，這將有助于縮小 1.5 億例所需但未進行的手術(shù)的缺口，特別是在低收入和中等收入國家。

在汽車領(lǐng)域，該公司汽車副總裁吳新宙表示，生成式人工智能將有助于實現(xiàn)智能工廠中汽車生產(chǎn)生命周期的現(xiàn)代化，并創(chuàng)建數(shù)字孿生。除了汽車產(chǎn)品生命周期之外，生成式 AI 還將實現(xiàn)自動駕駛汽車 (AV) 開發(fā)的突破，包括將記錄的傳感器數(shù)據(jù)轉(zhuǎn)化為完全交互式的 3D 模擬。這些數(shù)字孿生環(huán)境以及合成數(shù)據(jù)生成將用于在自動駕駛汽車部署到現(xiàn)實世界之前大規(guī)模安全地開發(fā)、測試和驗證自動駕駛汽車。

英偉達嵌入式、邊緣和計算副總裁 Deepu Talla 表示，生成式 AI 將為機器人開發(fā)代碼，并創(chuàng)建新的模擬來測試和訓(xùn)練它們。他補充道：“法學(xué)碩士將通過自動構(gòu)建 3D 場景、構(gòu)建環(huán)境并根據(jù)輸入生成資產(chǎn)來加速模擬開發(fā)。由此產(chǎn)生的模擬資產(chǎn)對于合成數(shù)據(jù)生成、機器人技能培訓(xùn)和機器人應(yīng)用測試等工作流程至關(guān)重要?！彼硎荆瑸榱耸箼C器人行業(yè)規(guī)?；?，機器人必須變得更加通用——也就是說，它們需要更快地獲得技能或?qū)⑺鼈儙У叫碌沫h(huán)境中。“在模擬中訓(xùn)練和測試的生成式人工智能模型將成為推動更強大、更靈活和更易于使用的機器人的關(guān)鍵推動因素?！?/p>

Ampere ：改變計算格局的趨勢

AmpereComputing 首席產(chǎn)品官 Jeff Wittich 繼續(xù)討論 2024 年通用計算趨勢，在博客中提出了他對 2024 年的看法，并總結(jié)如下：

人工智能推理和大規(guī)模部署成為焦點。

在人工智能的背景下，可持續(xù)性和能源效率變得更加重要。

計算和數(shù)據(jù)處理變得更加分布式和復(fù)雜。

第三個要點總結(jié)了我們 2024 年的趨勢，引用 Wittich 的話說：“隨著人工智能的興起，曾經(jīng)‘簡單’的設(shè)備變得越來越智能，導(dǎo)致計算設(shè)備比以往任何時候都多。為了實時處理來自這些設(shè)備的數(shù)據(jù)，高性能計算正在各處部署——在公共云和私有云中，但現(xiàn)在也在邊緣，導(dǎo)致與集中區(qū)域相比，超本地區(qū)域?qū)τ嬎愕男枨蟾?。這些環(huán)境的復(fù)雜性需要業(yè)界五年前還沒有的解決方案，并且將會有比以往更多的專業(yè)供應(yīng)商試圖解決這種情況?！?/p>