2016 年，第一顆基于可重構(gòu)計(jì)算的人工智能芯片誕生于清華。該成果曾發(fā)表在《IEEE 固態(tài)電路期刊》，《麻省理工科技評(píng)論》也報(bào)道過該芯片。

這是清華可重構(gòu)計(jì)算實(shí)驗(yàn)室 “十年磨一劍” 的成果。2006 年起，清華開始研究可重構(gòu)計(jì)算并成立實(shí)驗(yàn)室。

2018 年，該實(shí)驗(yàn)室開始走向產(chǎn)品化，并成立清微智能公司。兩年來，公司已在語音識(shí)別、視覺識(shí)別等領(lǐng)域研發(fā)出規(guī)?；瘧?yīng)用產(chǎn)品，并和阿里巴巴等互聯(lián)網(wǎng)巨頭建立合作。如今，清微智能將最新技術(shù)運(yùn)用于 AI 編譯工具鏈中，并服務(wù)于其量產(chǎn)芯片 TX5 系列中，通過編譯優(yōu)化，全球首款多模態(tài)智能計(jì)算芯片TX510 用于人臉識(shí)別時(shí)，其處理速度能夠提升一倍。

DeepTech 近日聯(lián)系到清微智能首席科學(xué)家、清華大學(xué)微電子與納電子學(xué)系教授尹首一，就該公司的主要產(chǎn)品、和他本人近日以通訊作者發(fā)表的新論文進(jìn)行了深度交流。

自 2018 年以來，清微智能針對(duì)終端產(chǎn)品的語音和視覺兩大應(yīng)用場(chǎng)景，量產(chǎn)出貨兩款芯片產(chǎn)品：超低功耗的智能語音 SoC 芯片 TX210，已應(yīng)用至多款 TWS 耳機(jī)、電子產(chǎn)品及多種智能家居產(chǎn)品中；TX510 芯片于 2020 年 7 月實(shí)現(xiàn)量產(chǎn)，在金融支付、智能安防、工業(yè)機(jī)器人、航空等領(lǐng)域也已分批交付客戶，出貨量已超十萬片，并承擔(dān)多個(gè)國家重大項(xiàng)目的建設(shè)。

圖｜TX 510 應(yīng)用領(lǐng)域

以清微智能的 TX510 智能視覺芯片系列為例，該芯片的休眠功耗為 10uW、支持中斷喚醒，冷啟動(dòng)下的人臉檢測(cè)識(shí)別時(shí)間小于 100ms，典型工作功耗為 350mW，算力達(dá) 1.2T (Int8)/9.6T (Binary)，AI 有效能效比達(dá) 5.6TOPS/W。

TX510 還擁有可重構(gòu) AI 引擎，其支持 AlexNet、GoogleNet、ResNet、VGG、Faster-RCNN、YOLO、SSD、FCN 和 SegNet 等主流神經(jīng)網(wǎng)絡(luò)，可實(shí)現(xiàn)人臉識(shí)別、物體識(shí)別和手勢(shì)識(shí)別等功能，適用于 AIoT、智能安防、智能家居、智能穿戴、智能制造等領(lǐng)域。

TX510 內(nèi)置 3D 引擎，支持 3D 結(jié)構(gòu)光、TOF（Time of flight，飛行時(shí)間）和立體視覺，誤識(shí)率千萬分之一的情況下識(shí)別率大于 90%。

在接口方面，TX510 支持市面上主流的視頻接口、存儲(chǔ)接口和通用接口，可保證產(chǎn)品兼容性。

盡管從硬件層面芯片性能已經(jīng)取得了較大進(jìn)步，但尹首一告訴 DeepTech，業(yè)界向來有一個(gè)共識(shí)，光有芯片架構(gòu)還不夠，編譯工具和開發(fā)工具等軟硬件體系也必須做好。否則，很難完全把硬件功能的優(yōu)勢(shì)發(fā)揮出來。

在軟件上面，其團(tuán)隊(duì)已經(jīng)有新進(jìn)展。

做芯片要軟硬結(jié)合

在近日的第 16 屆 ACM/IEEE 國際嵌入式系統(tǒng)會(huì)議 上，清華微電子所魏少軍、尹首一教授團(tuán)隊(duì)的論文《面向神經(jīng)網(wǎng)絡(luò)處理器的非規(guī)則網(wǎng)絡(luò)結(jié)構(gòu)高效調(diào)度技術(shù)》(“Efficient Scheduling of Irregular Network Structures on CNN Accelerators”) 獲得最佳論文獎(jiǎng)。

尹首一表示，這是中國完成單位首次在 AI 編譯優(yōu)化領(lǐng)域獲得國際學(xué)術(shù)會(huì)議最佳論文獎(jiǎng)。該研究成果填補(bǔ)了大規(guī)模、非規(guī)則神經(jīng)網(wǎng)絡(luò)編譯映射這一技術(shù)空白，可大幅提升神經(jīng)網(wǎng)絡(luò)處理器的計(jì)算性能。

該成果解決的痛點(diǎn)在于，隨著 AI 算法的不斷普及，以 AIoT 為代表的嵌入式系統(tǒng)應(yīng)用，給 AI 芯片的性能、功耗、成本、可靠性和可編程性等提出了嚴(yán)格且迫切的需求。為此，基于可重構(gòu)架構(gòu)、專用指令集架構(gòu)、存內(nèi)計(jì)算架構(gòu)等技術(shù)的神經(jīng)網(wǎng)絡(luò)處理器應(yīng)運(yùn)而生。

相比 CPU/GPU 等傳統(tǒng)架構(gòu)，神經(jīng)網(wǎng)絡(luò)處理器可將 AI 算法的計(jì)算能效提高 1~2 個(gè)數(shù)量級(jí)，目前其已在移動(dòng)設(shè)備、可穿戴設(shè)備、智能傳感器等應(yīng)用場(chǎng)景中獲得廣泛的應(yīng)用。

但是，神經(jīng)網(wǎng)絡(luò)處理器的應(yīng)用離不開編譯器的支撐，編譯器一方面實(shí)現(xiàn)了 AI 應(yīng)用到芯片的自動(dòng)化部署，另一方面通過優(yōu)化算法到芯片架構(gòu)的適配，能為 AI 應(yīng)用的執(zhí)行效率帶來大幅提升。

當(dāng)架構(gòu)設(shè)計(jì)經(jīng)過工藝制造并固化為硬件電路后，硬件電路的運(yùn)算行為則由編譯器所生成的機(jī)器碼來指揮，執(zhí)行速度和能量開銷也將因此而確定。因此，編譯器的優(yōu)化程度是研發(fā) AI 芯片的關(guān)鍵所在。

然而，當(dāng)前最先進(jìn)的神經(jīng)網(wǎng)絡(luò)模型，仍舊具備不可預(yù)測(cè)的非規(guī)則網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，在編譯層面表現(xiàn)為錯(cuò)綜復(fù)雜的數(shù)據(jù)流圖、和呈指數(shù)增長的解空間，而這給編譯器中的表達(dá)式優(yōu)化、算子調(diào)度、資源分配、循環(huán)優(yōu)化、自動(dòng)代碼生成等關(guān)鍵技術(shù)環(huán)節(jié)帶來嚴(yán)峻挑戰(zhàn)。

現(xiàn)有的深度學(xué)習(xí)編譯框架，如 TVM、TensorRT 等僅針對(duì)網(wǎng)絡(luò)中的某些特定模式進(jìn)行優(yōu)化，它們沒有處理任意結(jié)構(gòu)的能力，因此未能有效解決上述難題。

針對(duì)上述問題，魏少軍、尹首一團(tuán)隊(duì)在本次研究中，研發(fā)出支持任意網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的端到端深度學(xué)習(xí)編譯框架（下稱編譯框架），相比同類編譯映射方法實(shí)現(xiàn)了 1.41-2.61 倍的計(jì)算加速。

圖｜支持任意網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的端到端深度學(xué)習(xí)編譯框架

具體來說，本次編譯框架有三大創(chuàng)新性技術(shù)貢獻(xiàn)點(diǎn)。

第一， 針對(duì)結(jié)構(gòu)復(fù)雜的數(shù)據(jù)流圖，提出了基于計(jì)算節(jié)點(diǎn)深度聚類的編譯方法，該方法可對(duì)圖結(jié)構(gòu)進(jìn)行復(fù)雜度降維和搜索路徑生成，進(jìn)而可求解到具備全局最優(yōu)特性的圖調(diào)度方案，在硬件處理器上表現(xiàn)為多級(jí)存儲(chǔ)系統(tǒng)間的數(shù)據(jù)傳輸開銷、與額外計(jì)算開銷之間的最佳平衡，即推理計(jì)算性能達(dá)到最優(yōu)；

第二，針對(duì)非規(guī)則網(wǎng)絡(luò)結(jié)構(gòu)導(dǎo)致的解空間指數(shù)增長，提出了一種基于回溯搜索和參數(shù)匹配的啟發(fā)式資源分配方法，并對(duì)神經(jīng)網(wǎng)絡(luò)基本算子在時(shí)空域上的分布進(jìn)行聯(lián)合優(yōu)化，從而實(shí)現(xiàn)硬件層面上處理器緩存資源利用率最大化；

第三，針對(duì)新型網(wǎng)絡(luò)結(jié)構(gòu)的循環(huán)優(yōu)化問題，該團(tuán)隊(duì)推導(dǎo)得出最小循環(huán)變換粒度，并在編譯框架中建立了最優(yōu)陣列映射機(jī)制，使得嵌套循環(huán)的運(yùn)算與計(jì)算資源達(dá)到最優(yōu)匹配。

由于該編譯框架的優(yōu)化方法具備通用性，因此它也能用于專用神經(jīng)網(wǎng)絡(luò)處理器以外的其他架構(gòu)。

對(duì)于研究該問題的初衷，尹首一表示，這來自該團(tuán)隊(duì)親身經(jīng)歷的痛點(diǎn)。過去，在開發(fā)神經(jīng)網(wǎng)絡(luò)處理器時(shí)，人們往往只考慮到處理單元陣列的搭建和底層的數(shù)據(jù)復(fù)用等問題。而對(duì)于神經(jīng)網(wǎng)絡(luò)算法編譯，由于當(dāng)時(shí)的模型結(jié)構(gòu)簡單、調(diào)度空間有限，僅僅采用常規(guī)編譯優(yōu)化就已足夠。

然而，在面對(duì)近年來基于神經(jīng)架構(gòu)搜索（NAS）等方法所生成的復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，之前的設(shè)計(jì)范式不再能提供具備接近最優(yōu)性能的解決方案，從而大大制約了算力的發(fā)揮。因而該團(tuán)隊(duì)認(rèn)識(shí)到，必須要有針對(duì)性的軟件編譯工具，才能對(duì)新型 AI 應(yīng)用進(jìn)行充分的優(yōu)化和加速。

尹首一告訴 DeepTech，在編譯方面他們并非 “新人”。他和團(tuán)隊(duì)十多年來一直研究通用可重構(gòu)處理器編譯問題，已具備較為深厚的研究基礎(chǔ)，因而在面對(duì)神經(jīng)網(wǎng)絡(luò)編譯這一新問題時(shí)，能迅速把握問題本質(zhì)，從而得以快速完成研究。

據(jù)他介紹，目前由其擔(dān)任首席科學(xué)家的清微智能，已經(jīng)將該論文的技術(shù)發(fā)明運(yùn)用在 AI 編譯工具鏈中，并已服務(wù)于量產(chǎn)芯片 TX5 系列中。對(duì)終端客戶而言，這意味著可用同樣的費(fèi)用買到更多的算力。例如，通過編譯優(yōu)化，TX510 芯片用于人臉識(shí)別時(shí)，其處理速度能夠提升一倍。

目前，清微智能的 AI 編譯工具鏈還在不斷升級(jí)優(yōu)化中，旨在使實(shí)際運(yùn)行中的神經(jīng)網(wǎng)絡(luò)處理器逼近其理論算力上限。

AI 芯片公司應(yīng) “軟硬” 結(jié)合

尹首一認(rèn)為，和所有初創(chuàng)公司一樣，AI 芯片企業(yè)要想構(gòu)建成功的商業(yè)模式，在市場(chǎng)競(jìng)爭中站穩(wěn)腳跟，就得扎實(shí)細(xì)致地研究客戶實(shí)際需求。

當(dāng)前，AI 芯片的客戶多數(shù)是整機(jī)和應(yīng)用開發(fā)相關(guān)企業(yè)，這類客戶主要面向算法和應(yīng)用來開發(fā)神經(jīng)網(wǎng)絡(luò)模型，他們急需的是將生成的模型、便捷高效地在硬件設(shè)備上進(jìn)行部署，因此他們不太關(guān)心硬件的底層架構(gòu)和編譯細(xì)節(jié)。

但是，芯片公司光有先進(jìn)的硬件和架構(gòu)是不夠的，因?yàn)檫@無法讓客戶快速用起來，也無法將硬件算力轉(zhuǎn)化為可觀的計(jì)算性能。這時(shí)，AI 芯片公司就得提供軟硬件全棧式解決方案。參照英偉達(dá)在圖形加速領(lǐng)域的成功經(jīng)驗(yàn)，有兩點(diǎn)值得其他公司學(xué)習(xí)：其一是先進(jìn)的 GPU 硬件架構(gòu)，其二則是 GPU 開發(fā)工具鏈的成熟和完善。

目前，尹首一把主要精力集中在前沿研究上，這些研究成果不斷支撐著產(chǎn)品的競(jìng)爭優(yōu)勢(shì)。以清微智能 AI 編譯工具鏈為例，它集成了模型自動(dòng)量化、定點(diǎn)訓(xùn)練、通用算法計(jì)算和網(wǎng)絡(luò)調(diào)度映射等多方面的先進(jìn)技術(shù)，可高效處理神經(jīng)網(wǎng)絡(luò)和及其他 AI 算法，并且兼容主流的深度學(xué)習(xí)框架，因而實(shí)現(xiàn)了從應(yīng)用算法、到可重構(gòu)計(jì)算硬件的端到端部署。

通過這套 AI 工具鏈，開發(fā)者可在不改變編程習(xí)慣的情況下，快速高效地部署 AI 算法。以已經(jīng)量產(chǎn)出貨的視覺智能芯片 TX510 為例，開發(fā)者可以僅僅通過調(diào)用功能級(jí) API，就實(shí)現(xiàn)包含剪枝參數(shù)和權(quán)值位寬參數(shù)在內(nèi)的最優(yōu)模型壓縮策略，以及包括數(shù)據(jù)流圖優(yōu)化、算子時(shí)空域映射在內(nèi)的最優(yōu)調(diào)度結(jié)果。

尹首一最后總結(jié)到，和操作系統(tǒng)一樣，編譯器也是核心基礎(chǔ)軟件，它是一切可編程芯片的靈魂，應(yīng)當(dāng)受到國內(nèi)公司的更多重視。做 AI 芯片的公司，應(yīng)當(dāng)從開發(fā)伊始就對(duì)軟硬件兩方面的技術(shù)路線進(jìn)行充分布局，這樣才能走得更遠(yuǎn)。

-End-

原文標(biāo)題：AI芯片公司，架構(gòu)、編譯兩手都要硬！搭載清華最新深度學(xué)習(xí)編譯研究成果的芯片已商用

文章出處：【微信公眾號(hào)：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq