中國在智能物聯(lián)網(wǎng)、機(jī)器學(xué)習(xí)方面的快速發(fā)展有目共睹，其視覺應(yīng)用和創(chuàng)新水平處于世界領(lǐng)先地位。然而當(dāng)前中國許多IPC視覺系統(tǒng)已經(jīng)進(jìn)入紅海市場，如何幫助合作伙伴進(jìn)行差異化設(shè)計(jì)，免去重復(fù)的基礎(chǔ)IP整合工作和基礎(chǔ)軟件開發(fā)工作呢，ARM基于這樣的觀察和思考，近期與安謀科技攜手合作推出全新Arm 智能視覺參考設(shè)計(jì)，可謂十分契合中國市場的特點(diǎn)。

Arm 智能視覺參考設(shè)計(jì)的組成

Arm Corstone-1000：整合 Cortex-A、Cortex-M 處理器與內(nèi)建安全性，為不同應(yīng)用在受限的功耗范圍內(nèi)提供效率及高性能。

Arm Corstone-300：為機(jī)器學(xué)習(xí)工作負(fù)載提供“永遠(yuǎn)在線”的低功耗子系統(tǒng)。

Arm Mali-C55 圖像信號處理器 (ISP)：在極小的芯片面積條件下，提供可配置、高能效、高性能的圖像質(zhì)量。

來自安謀科技的第三方 IP 在視頻和機(jī)器學(xué)習(xí)能力方面提供更多選項(xiàng)：

包括：“玲瓏”V5視頻處理器：支持緊湊的、多格式 (例如H.264, H.265) 且高效能的視頻編解碼處理。

“周易” NPU：為廣泛的機(jī)器學(xué)習(xí)用例提供高達(dá) 4TOPS 的性能表現(xiàn)，并且支持業(yè)界主流的 AI 規(guī)?？蚣埽?Tensorflow、Caffe、ONNX、Pytorch 等。



Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健Chloe Ma解析，Arm智能視覺參考設(shè)計(jì)采用成熟的 Arm CPU IP 作為基礎(chǔ)，要知道Arm CPU 在智能攝像頭領(lǐng)域有九成以上的份額，已經(jīng)用于諸多智能視覺品牌設(shè)備。

Corstone 是一套預(yù)先經(jīng)過集成并驗(yàn)證的子系統(tǒng)，即是Arm 物聯(lián)網(wǎng)解決方案的根基。旨在加速芯片產(chǎn)品流片和量產(chǎn)。其中，Corstone-1000 是首款為 Cortex-A 設(shè)計(jì)的子系統(tǒng)，該方案基本配置是經(jīng)過量產(chǎn)考驗(yàn)的 Cortex-A35 或 Cortex-A53，并取得了Arm SystemReady IR 認(rèn)證，確保 Linux 等操作系統(tǒng)的開機(jī)即用，并簡化軟件開發(fā)。

Corstone-300 在智能視覺參考設(shè)計(jì)中，作為低功耗待機(jī)子系統(tǒng)，降低邊緣設(shè)備的功耗，提高系統(tǒng)效率。



參考設(shè)計(jì)中的 ISP 選用的是 Arm 去年六月發(fā)布的 Mali-C55，也是 Arm 迄今為止面積最小、功耗最低、且可配置性最高的 ISP 產(chǎn)品。Mali-C55 提供升級的圖像質(zhì)量功能，可以在各種不同的照片和天氣條件下工作。像其他 Arm 產(chǎn)品一樣，Mali-C55 擁有全方位的軟件工具支持，包括軟件驅(qū)動實(shí)現(xiàn)自動曝光、自動白平衡、自動對焦的 3A 庫以及全套調(diào)校和校準(zhǔn)工具，并有 Arm 批準(zhǔn)的 ISP 調(diào)優(yōu)合作伙伴助力客戶達(dá)到最優(yōu)畫質(zhì)。



同時，安謀科技為此設(shè)計(jì)貢獻(xiàn)的玲瓏 VPU 提供了緊湊、多格式和高效的視頻編解碼器，以及周易 NPU 的高達(dá) 4 個 TOPS 的 ML 加速，使該參考設(shè)計(jì)可以支持機(jī)器視覺的用例。



安謀科技智能物聯(lián)及汽車業(yè)務(wù)線負(fù)責(zé)人趙永超在介紹此次安謀科技自研 IP與 ArmCPU、ISP合作時表示， Arm 智能視覺參考設(shè)計(jì)通過集成安謀科技“玲瓏”VPU 和“周易” NPU，并由安謀科技將 Arm IP 與安謀科技自研 IP 進(jìn)行集成和驗(yàn)證，可進(jìn)一步滿足國內(nèi)客戶在不同場景下的差異化視頻處理需求，提高機(jī)器學(xué)習(xí)與視頻處理工作時的負(fù)載表現(xiàn)，從而加速視覺應(yīng)用產(chǎn)品的創(chuàng)新落地。

合作伙伴生態(tài)

在發(fā)布參考設(shè)計(jì)的同時，Arm啟動智能視覺合作伙伴計(jì)劃，攜手 AI 視覺、芯片設(shè)計(jì)、軟件、算法、系統(tǒng)集成等伙伴共同打造基于 Arm 架構(gòu)智能視覺應(yīng)用的強(qiáng)大生態(tài)。生態(tài)合作伙伴的加持將進(jìn)一步加速視覺硬件、軟件和系統(tǒng)的開發(fā)。



馬健表示，智能視覺參考設(shè)計(jì)的目標(biāo)受眾通常是邊緣 AI 領(lǐng)域公司的初創(chuàng)公司、跨界創(chuàng)新公司或者是希望進(jìn)行垂直整合的系統(tǒng)公司。但由于種種原因，這些公司并不擁有涵蓋所有芯片架構(gòu)前端、后端設(shè)計(jì)師的龐大團(tuán)隊(duì)，那么就需要芯片設(shè)計(jì)服務(wù)公司、軟件開發(fā)者、系統(tǒng)集成伙伴共同助力。

例如，Arm 智能視覺參考設(shè)計(jì)包含了云原生的開源視覺軟件堆棧，但是該軟件棧距離面向不同視覺市場的量產(chǎn)軟件還存在著差距，這就需要智能視覺軟件開發(fā)經(jīng)驗(yàn)的合作伙伴來幫助客戶適配不同的應(yīng)用場景，為不同的 OEM 定制軟件，并進(jìn)行整合、測試和調(diào)優(yōu)，達(dá)到量產(chǎn)水平。系統(tǒng)集成伙伴通常具有芯片設(shè)計(jì)、固件軟件開發(fā)、創(chuàng)建 FPGA 甚至開發(fā)板的綜合能力，可以提供一站式服務(wù)。

生態(tài)伙伴可借由 Arm 虛擬硬件 (Arm Virtual Hardware, AVH) 的形式獲取 Arm 智能視覺參考設(shè)計(jì)的虛擬模型，助力軟件開發(fā)者在芯片完備前先著手開發(fā)并優(yōu)化代碼。該參考設(shè)計(jì)具備可信任的底層 IP 技術(shù)，在增強(qiáng)安全、可移植性與兼容性方面，已取得 Arm SystemReady IR 與 PSA Certified Level 2 等重要的業(yè)界標(biāo)準(zhǔn)認(rèn)證。

在Arm 智能視覺合作伙伴計(jì)劃之下，百度飛槳已經(jīng)實(shí)現(xiàn)了基于飛槳的視覺模型庫和 Arm 虛擬硬件的整合適配。誠邁科技作為軟件設(shè)計(jì)合作伙伴，在日前成為中國第一個 Arm 批準(zhǔn)的 ISP 調(diào)優(yōu)伙伴。另外廈門星宸科技在月初通過了 PSA 安全認(rèn)證，展示了智能視覺界領(lǐng)軍者對安全和隱私保護(hù)重視程度的提高。

智能視覺支持AI小模型部署

盡管我們已經(jīng)來到了AI的大模型時代，不過，AI應(yīng)用并不都在云端，大量邊緣端將更加注重運(yùn)行AI 小模型，智能視覺在支持AI應(yīng)用上將發(fā)揮重要作用。

馬健認(rèn)為，視覺作為感官對于以后的行動無處不在的避障、安全都是至關(guān)重要的。如果是有高情商的機(jī)器，比如聊天機(jī)器人也需要視覺才能觀察到人類的反應(yīng)和情感，更好的和人類交流。接著就是對模型優(yōu)化方面智能視覺也是可以有幫助的。

在整個視覺堆棧和AI 堆棧從云端延伸到邊緣側(cè)和端側(cè)時，首先要求模型設(shè)計(jì)的合作伙伴，在模型方面做到稀疏化，將云端設(shè)計(jì)的大模型做到邊緣側(cè)有效的部署。同時，邊緣側(cè)設(shè)備，整個芯片架構(gòu)從同構(gòu)的CPU架構(gòu)到異構(gòu)CPU加上加速器架構(gòu)，能夠更好的支持小模型，讓它們能在邊緣側(cè)甚至端側(cè)進(jìn)行部署。同時，在軟件方面，Arm持續(xù)為一些傳統(tǒng)嵌入式和邊緣軟件開發(fā)者，提供非常堅(jiān)實(shí)的軟件工具，無論是視覺軟件庫或是AI 軟件庫，甚至一些AI 的model zoo模型集合，都能助力他們達(dá)到視覺系統(tǒng)的開發(fā)和量產(chǎn)。

小結(jié)：

Arm認(rèn)為未來的智能視覺解決方案將全部基于異構(gòu)計(jì)算，預(yù)計(jì)異構(gòu)計(jì)算解決方案的所有要件，如CPU、ISP、機(jī)器學(xué)習(xí)，都需要更高的性能和效率，以滿足不斷涌現(xiàn)的新用例需求。

Arm也在打通硬件平臺碎片化壁壘，促進(jìn)AIOT 生態(tài)成熟。馬健表示，Arm作為智能物聯(lián)和IoT 的基石，能夠提供例如SystemReady 標(biāo)準(zhǔn)和物聯(lián)網(wǎng)安全認(rèn)證體系。Arm 堅(jiān)信標(biāo)準(zhǔn)對于逐漸削弱碎片化會起到非常重要的作用，在標(biāo)準(zhǔn)化方面Arm有多個計(jì)劃，將和產(chǎn)業(yè)伙伴共同推動整個生態(tài)系統(tǒng)的建設(shè)。