對(duì)于計(jì)算工業(yè)，其最基本的一個(gè)假設(shè)是：數(shù)字處理會(huì)變得越來(lái)越便宜。并且根據(jù)著名的摩爾定律，可以預(yù)測(cè)在給定尺寸的芯片其上面能集成的電路個(gè)數(shù)（差不多相當(dāng)于算力）通常每?jī)赡陼?huì)翻一番。

斯坦福人工智能研究所副所長(zhǎng)克里斯托弗·曼寧表示，對(duì)于許多相對(duì)簡(jiǎn)單的AI應(yīng)用來(lái)言，上述假設(shè)意味著訓(xùn)練成本的降低。但對(duì)于有些應(yīng)用現(xiàn)在卻不是這樣的，特別是因?yàn)椴粩嘣黾拥难芯繌?fù)雜性和競(jìng)爭(zhēng)性，使得最前沿模型的訓(xùn)練成本還在不斷上升。

曼寧用BERT模型來(lái)舉例，BERT是谷歌在18年提出的AI語(yǔ)言模型，已被用在谷歌搜索中。該模型有超過(guò)3.5億個(gè)內(nèi)部參數(shù)，而且要大量數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練，大概用了33億個(gè)大部分來(lái)自維基百科的單詞來(lái)訓(xùn)練。接著曼寧說(shuō)，現(xiàn)在看來(lái)維基百科都不是個(gè)多大的數(shù)據(jù)集了。“如果能用300億個(gè)單詞訓(xùn)練一個(gè)系統(tǒng)，那它的性能肯定比用30億個(gè)單詞訓(xùn)練的系統(tǒng)要好?！钡嗟臄?shù)據(jù)也意味著要用更多算力進(jìn)行支持。

總部位于加州的OpenAI表示，隨著對(duì)機(jī)器學(xué)習(xí)興趣的不斷增加，對(duì)算力的需求從12年開始也急劇增加了。到18年，用于訓(xùn)練大型模型的計(jì)算機(jī)算力相比之前已增長(zhǎng)了30萬(wàn)倍，并且還每三個(gè)半月翻一番（見(jiàn)圖）。比如，為訓(xùn)練能在DOTA 2中擊敗人類的“OpenAI Five”系統(tǒng)，就幾乎將機(jī)器學(xué)習(xí)訓(xùn)練擴(kuò)展到了“前所未有的水平”，差不多用數(shù)千塊芯片訓(xùn)練了十多個(gè)月。

關(guān)于所有這些訓(xùn)練成本的確切數(shù)字，馬薩諸塞州阿默斯特大學(xué)的研究人員在19年發(fā)表的一篇論文中進(jìn)行了估計(jì)，例如訓(xùn)練某個(gè)版本的Transformer模型可能就要花費(fèi)300萬(wàn)美金。同時(shí)Facebook的AI負(fù)責(zé)人杰羅姆·佩森蒂表示，針對(duì)當(dāng)前最大的模型進(jìn)行一輪訓(xùn)練光是電費(fèi)可能就好幾百萬(wàn)美金。

云計(jì)算輔助

然而，對(duì)于Facebook這樣19年利潤(rùn)就達(dá)185億美元的公司，這點(diǎn)錢不算什么。但對(duì)于那些現(xiàn)金并不充足的公司就有點(diǎn)壓力山大了。著名風(fēng)險(xiǎn)投資公司Andreessen Horowitz （a16z）指出，許多AI初創(chuàng)公司都是從云計(jì)算公司（如亞馬遜和微軟）來(lái)租用訓(xùn)練所需的算力。而因此帶來(lái)的費(fèi)用（有時(shí)占收入的25％或更多）也是AI初創(chuàng)公司投資吸引力低于老式軟件公司的原因之一。3月，曼寧博士在斯坦福大學(xué)的同事們，包括著名的李飛飛，一起呼吁創(chuàng)建美國(guó)國(guó)家研究云計(jì)算計(jì)劃，旨在幫助美國(guó)AI研究人員應(yīng)對(duì)不斷增長(zhǎng)的訓(xùn)練費(fèi)用。

對(duì)算力日益增長(zhǎng)的需求同時(shí)也推動(dòng)了芯片設(shè)計(jì)和AI專用計(jì)算設(shè)備的蓬勃發(fā)展。專用芯片的第一波浪潮是GPU的出現(xiàn)，其在90年代設(shè)計(jì)出來(lái)就是為了用于增強(qiáng)視頻游戲圖形處理。而非常巧的是，GPU也非常適合現(xiàn)在AI應(yīng)用中的數(shù)學(xué)計(jì)算。

相比起GPU現(xiàn)在還有更專業(yè)的芯片，各個(gè)公司也正在致力于研究這些芯片。去年12月，英特爾就以20億美元的價(jià)格收購(gòu)了以色列公司Habana Labs；而成立于16年的英國(guó)公司Graphcore在2019年的估值為20億美元；最大的GPU制造商N(yùn)vidia等公司已對(duì)其芯片進(jìn)行了重新設(shè)計(jì)來(lái)適應(yīng)AI的計(jì)算需求；Google內(nèi)部設(shè)計(jì)了自己的“張量處理單元”（TPU）芯片；而中國(guó)科技巨頭百度也已用上了自己的“昆侖”芯片。畢馬威的阿方索·馬龍認(rèn)為，專用AI芯片的市場(chǎng)價(jià)值已達(dá)約100億美元的規(guī)模，而到2025年預(yù)估能達(dá)到800億美元。

Graphcore的創(chuàng)始人之一奈杰爾·圖恩表示：“計(jì)算機(jī)體系結(jié)構(gòu)需要適應(yīng)現(xiàn)在訓(xùn)練處理數(shù)據(jù)的方式。” 對(duì)于AI運(yùn)算其最基礎(chǔ)的特征可以說(shuō)就是“并行”，即將運(yùn)算切分為很多小塊同時(shí)進(jìn)行運(yùn)算。例如，Graphcore的芯片有1，200多個(gè)單獨(dú)的數(shù)字運(yùn)算核，能連接在一起提供更多的算力。而加州的創(chuàng)業(yè)公司Cerebras采取了更極端的方法，每個(gè)芯片占用了整張硅片，每張硅片上能放置40萬(wàn)左右個(gè)核。

除了并行，其他優(yōu)化也很重要。Cerebras的創(chuàng)始人之一安德魯·費(fèi)爾德曼指出，AI模型花費(fèi)了大量時(shí)間來(lái)進(jìn)行乘零操作。而因?yàn)檫@些計(jì)算結(jié)果總時(shí)零，所以其實(shí)很多都是不必要的，所以Cerebras的芯片就盡量避免執(zhí)行這些運(yùn)算。同時(shí)，Graphcore的Toon先生說(shuō)，與許多任務(wù)不同，現(xiàn)在AI并不需要超精確的計(jì)算。這也意味著芯片設(shè)計(jì)人員能通過(guò)減少運(yùn)算所需的精度來(lái)節(jié)省能耗。（而計(jì)算精度到底能降到什么程度仍是個(gè)開放性問(wèn)題。）

之后所有這些因素都能綜合起來(lái)獲得更大提升。Toon就認(rèn)為Graphcore當(dāng)前的芯片效率是GPU的10到50倍。

現(xiàn)在類似的創(chuàng)新變得越來(lái)越重要，因?yàn)閷?duì)算力需求激增正趕上摩爾定律逐漸失效的時(shí)候。現(xiàn)在縮小芯片變得越來(lái)越困難，而且?guī)?lái)的收益也越來(lái)越小。去年，Nvidia的創(chuàng)始人黃仁勛直言不諱地說(shuō)：“摩爾定律失效了”。

量子解決方案和神經(jīng)形態(tài)方案

因此，現(xiàn)在研究人員還在尋找更多的解決方法。其中一種是量子計(jì)算，利用量子力學(xué)的反直覺(jué)特性為某些類型的計(jì)算進(jìn)行大幅提速。關(guān)于機(jī)器學(xué)習(xí)的一種思考角度是將它看作是一個(gè)優(yōu)化問(wèn)題，而計(jì)算機(jī)試圖在數(shù)百萬(wàn)個(gè)變量中進(jìn)行權(quán)衡從而求出盡可能最小值。微軟量子系統(tǒng)部門負(fù)責(zé)人Krysta Svore說(shuō)，一種稱為格羅弗算法的量子計(jì)算技術(shù)具有巨大的提速潛力。

另一種想法是從生物學(xué)中獲得啟發(fā)，認(rèn)為當(dāng)前的蠻力方法并不是唯一的方法。當(dāng)Cerebras的芯片運(yùn)行起來(lái)，功耗大約為15kw，足以為數(shù)十座房屋供電（相同數(shù)量GPU能耗更多）。而相比起來(lái)，人腦消耗能量就只有大概20w，只有前者的千分之一，而人腦在許多方面都比硅芯片更聰明。因此，英特爾和IBM等公司正在研究“神經(jīng)形態(tài)”芯片，希望設(shè)計(jì)出更能模仿生物大腦神經(jīng)元電行為的組件。

但到目前為止，這兩條路都還很遙遠(yuǎn)。量子計(jì)算機(jī)在理論上相對(duì)容易理解些，但盡管有谷歌，微軟和IBM等技術(shù)巨頭投入數(shù)十億美元，實(shí)際搭建卻仍是個(gè)巨大挑戰(zhàn)。而神經(jīng)形態(tài)芯片雖然是用現(xiàn)有技術(shù)構(gòu)建的，但讓設(shè)計(jì)人員很氣餒的是，就連神經(jīng)科學(xué)家都還不怎么了解大腦究竟在做什么以及怎么做到的。

這意味著，在可預(yù)見(jiàn)的未來(lái)，AI研究人員將不得不繼續(xù)盡可能地壓榨現(xiàn)有計(jì)算技術(shù)性能。而Toon先生對(duì)此還是很樂(lè)觀的，他認(rèn)為通過(guò)更專業(yè)硬件以及調(diào)整現(xiàn)有軟件讓訓(xùn)練更快，也還是能帶來(lái)很大收益。為了說(shuō)明這個(gè)新領(lǐng)域的發(fā)展，他用電子游戲打了個(gè)比方：“現(xiàn)在我們已超越了乓（Pong），可能到了吃豆人?！?/p>

沒(méi)有錢來(lái)進(jìn)行訓(xùn)練的窮煉丹師們理所當(dāng)然地希望他說(shuō)的是對(duì)的。