科技界出現(xiàn)了許多為人工智能和機(jī)器學(xué)習(xí)開發(fā)特殊芯片的初創(chuàng)公司。在加州圣克拉拉由老牌半導(dǎo)體分析公司Linley集團(tuán)主辦的Linley集團(tuán)秋季處理器會(huì)議上，出現(xiàn)了一些最有趣的產(chǎn)品。

一家總部位于圣克拉拉的創(chuàng)業(yè)公司Cornami進(jìn)行了一場演講。

其聯(lián)合創(chuàng)始人和首席技術(shù)官Paul Masters描述了一種機(jī)器學(xué)習(xí)的新方式，可以安排芯片的各個(gè)元素進(jìn)行機(jī)器學(xué)習(xí)“訓(xùn)練”(神經(jīng)網(wǎng)絡(luò)就是在這里發(fā)展起來的)和“推理”(神經(jīng)網(wǎng)絡(luò)在不斷的基礎(chǔ)上提供答案)。

Cornami一直在秘密運(yùn)作，這是Masters首次公開關(guān)于該公司芯片運(yùn)作方式的一些細(xì)節(jié)。

Cornami的目標(biāo)是向大眾市場提供芯片，包括“邊緣計(jì)算”領(lǐng)域，其中汽車和消費(fèi)電子產(chǎn)品特別需要具有高響應(yīng)性能的芯片，并且在運(yùn)行神經(jīng)網(wǎng)絡(luò)方面具有高能效。

Masters說，該芯片可追溯到20世紀(jì)70年代和80年代的技術(shù)，稱為脈動(dòng)陣列。脈動(dòng)陣列具有很多計(jì)算元件，例如乘法—累加器，以執(zhí)行作為神經(jīng)網(wǎng)絡(luò)的基本計(jì)算單元的矩陣乘法。用線將這些元素彼此連接，并連接到網(wǎng)格中的內(nèi)存。脈動(dòng)矩陣是根據(jù)心臟的收縮功能來命名的：就像血流一樣，數(shù)據(jù)是通過這些計(jì)算元素“泵”出來的。

根據(jù)演示，脈動(dòng)陣列在它們首次出現(xiàn)時(shí)并未真正被重視，但它們正在成為構(gòu)建AI芯片的主要方式。Masters表示：“你已經(jīng)看到了，它很酷，它來自70年代。”

“谷歌正在使用它們，還有微軟以及數(shù)十家初創(chuàng)公司，”他觀察到脈動(dòng)陣列的普及。

但Masters討論了Cornami如何采用獨(dú)特的脈動(dòng)陣列方法?！懊}動(dòng)陣列的詛咒在于它們是方形的，”Masters說。他指的是乘數(shù)累加器的對稱排列。由于這種剛性布局，將數(shù)據(jù)移入和移出這些計(jì)算元素將占用芯片大量的工作，甚至比每個(gè)計(jì)算元素中的計(jì)算本身還要多。

Masters 說“傳統(tǒng)芯片的功耗在哪里？”，這是個(gè)大問題?！皵?shù)據(jù)被轉(zhuǎn)儲(chǔ)到DDR [DRAM內(nèi)存]中，它必須進(jìn)入核心進(jìn)行計(jì)算，因此數(shù)據(jù)從DDR進(jìn)入三級(jí)高速緩存，二級(jí)高速緩存和一級(jí)高速緩存，然后進(jìn)入寄存器，之后開始進(jìn)行計(jì)算。如果核心耗盡，就必須反過來，先退出并將所有臨時(shí)數(shù)據(jù)轉(zhuǎn)儲(chǔ)回寄存器，L1緩存，L2，L3，一遍又一遍?！?/p>

Masters解釋說，只要用到L1緩存就需要四倍于實(shí)際計(jì)算的功耗。如果要用DRAM，幾乎很難做到，而且需要更大的功率來驅(qū)動(dòng)芯片。

Masters說：“傳統(tǒng)機(jī)器中能效最低的就是移動(dòng)數(shù)據(jù)”。解決方案是擁有數(shù)千個(gè)核心，通過保持?jǐn)?shù)千個(gè)核心繁忙，可以避免返回到內(nèi)存子系統(tǒng)，而只是簡單地將計(jì)算的輸入和輸出從一個(gè)元素路由到下一個(gè)元素?！叭绻麚碛?,000到32,000個(gè)核心，我們可以保持整個(gè)神經(jīng)網(wǎng)絡(luò)在一個(gè)芯片上”他說。

因此，為了降低進(jìn)出內(nèi)存的成本，Cornami芯片重新排列他們的電路，使計(jì)算元件可以切換到各種幾何布局，有效地組織芯片上的計(jì)算活動(dòng)，以滿足目前的神經(jīng)網(wǎng)絡(luò)的需求。

“Cornami構(gòu)建了一個(gè)可以根據(jù)需要構(gòu)建任何尺寸，任何形狀的脈動(dòng)陣列的架構(gòu)?！?脈動(dòng)陣列可以被動(dòng)態(tài)地重新排列成非正方形的各種新幾何圖形。這些奇怪的數(shù)組形狀使得在計(jì)算元素之間移動(dòng)輸入和輸出變得非常有效。因此，Cornami芯片可以最小化內(nèi)存和緩存使用，從而“顯著降低功耗和延遲，并提高性能”。

Masters自豪地說，憑借這種靈活性，單個(gè)Cornami芯片就可以處理整個(gè)神經(jīng)網(wǎng)絡(luò)，并且能夠取代通常用于運(yùn)行神經(jīng)網(wǎng)絡(luò)的CPU，GPU，FPGA和ASIC的各種組合。他表示，這是一個(gè)“芯片上的數(shù)據(jù)中心”，對于將AI置于汽車等“邊緣計(jì)算”中具有重要意義。

Masters展示了一些性能統(tǒng)計(jì)數(shù)據(jù)：運(yùn)行“SegNet”神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識(shí)別，與Nvidia“Titan V”GPU相比，Cornami芯片能夠每秒處理877幀，功耗只有30瓦。而Titan GPU功耗250瓦，每秒只能處理8.6幀。

Cornami于2016年9月從Impact Venture Capital獲得了300萬美元的B輪風(fēng)險(xiǎn)投資。隨后，該公司已收到資金，但尚未披露具體數(shù)額。