在快速發(fā)展的人工智能世界里，CNN和其相關(guān)模型似乎在很久之前就已經(jīng)把人工智能引擎架構(gòu)推向了邊緣。雖然神經(jīng)網(wǎng)絡(luò)算法的性質(zhì)已經(jīng)發(fā)生了顯著的變化，但它們都被認(rèn)為是在異構(gòu)平臺(tái)上有效處理DNN的不同層：NPU用于張量操作，DSP或GPU用于矢量操作，CPU(或集群)管理其余東西。

該架構(gòu)在視覺(jué)處理中工作得很好，其中矢量和標(biāo)量類(lèi)操作不會(huì)與張量層過(guò)多交叉。一個(gè)過(guò)程從標(biāo)準(zhǔn)化操作(灰度，幾何尺寸等)開(kāi)始，通過(guò)向量操作有效地處理。然后是一系列深度層，通過(guò)逐層張量操作提取圖像特征。最后，使用softmax之類(lèi)的激活函數(shù)對(duì)輸出進(jìn)行標(biāo)準(zhǔn)化。算法和異構(gòu)架構(gòu)是圍繞這種假定的逐層操作設(shè)計(jì)的，所有的智能部分都在張量引擎中被無(wú)縫地處理。

Transformer架構(gòu)問(wèn)世

2017年，谷歌研究院/谷歌大腦推出了Transformer架構(gòu)，以解決自然語(yǔ)言處理(NLP)中的一些問(wèn)題。CNN及其同類(lèi)算法通過(guò)局部注意力過(guò)濾器進(jìn)行串行處理。一個(gè)層中的每個(gè)過(guò)濾器選擇一個(gè)局部特征——邊緣、紋理或其他信息。疊加濾波器累積自下而上的識(shí)別信息，最終識(shí)別出全局對(duì)象。

在自然語(yǔ)言中，一個(gè)句子中一個(gè)詞的意義并不僅僅由該句子中相鄰的詞來(lái)決定;距離較遠(yuǎn)的單詞可能會(huì)對(duì)結(jié)果產(chǎn)生重要影響。應(yīng)用多個(gè)連續(xù)的局部注意力最終可以獲得遠(yuǎn)距離處的信息，但其權(quán)重會(huì)被削弱。更好的方法是關(guān)注全局信息，同時(shí)查看句子中的每個(gè)單詞，距離不作為加權(quán)因素，大型語(yǔ)言模型的顯著成功證明了這一點(diǎn)。

雖然Transformer在GPT和類(lèi)似應(yīng)用中最為知名，但它們?cè)谝曈X(jué)Transformer(稱(chēng)為ViT)中也取得了極大進(jìn)展。圖像被分割成小塊(比如16×16像素)，然后作為字符串通過(guò)Transformer進(jìn)行處理，這樣有充分的機(jī)會(huì)進(jìn)行并行化。對(duì)于每一個(gè)序列都是通過(guò)一系列連續(xù)的張量和向量操作。無(wú)論Transformer支持多少個(gè)編碼器塊，都可以重復(fù)進(jìn)行。

與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型的最大區(qū)別是，這里的張量和向量操作是交錯(cuò)的。在異構(gòu)加速器上運(yùn)行這樣的算法是可行的，但在引擎之間頻繁的上下文切換可能不是很有效。

優(yōu)勢(shì)是什么?

實(shí)驗(yàn)結(jié)果表明，ViT能夠達(dá)到與CNN / DNN相當(dāng)?shù)木人剑谀承┣闆r下可能具有更好的性能。更有趣的是，Vi可能更傾向于圖形中的拓?fù)湫畔?，而不是自下而上的像素?jí)識(shí)別，這可能是它們對(duì)圖像失真或黑客攻擊更強(qiáng)大的原因。此外，ViT還在自監(jiān)督工作中取得了較好的結(jié)果，這可以大大減少訓(xùn)練工作量。

人工智能中的新架構(gòu)刺激了大量新技術(shù)的涌現(xiàn)，這在過(guò)去幾年的許多ViT論文中就可以看出來(lái)。這意味著加速器需要對(duì)傳統(tǒng)模型和Transformer模型都友好。這對(duì)Quadric來(lái)說(shuō)是個(gè)好兆頭，他們的Chimera通用NPU (GPNPU)處理器被設(shè)計(jì)成一個(gè)單一的處理器解決方案，用于所有AI/ML計(jì)算，包括圖像預(yù)處理、推理等過(guò)程，由于所有的計(jì)算都在一個(gè)具有共享內(nèi)存層次結(jié)構(gòu)的單一內(nèi)核中處理，因此不需要在不同類(lèi)型的ML運(yùn)算器的計(jì)算節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)移動(dòng)。

編輯：黃飛

?