研究想法能否成功要看是否具備合適的軟硬件,而不是這個想法是否比其他研究方向優(yōu)秀。
天時、地利、人和,三者不得,雖勝有殃。
——《孫子兵法》
一件事的成敗總會牽涉多個因素,例如兵法中的「天時」、「地利」、「人和」。在計算機科學歷史上,也有類似的現(xiàn)象,如「硬件」、「軟件」、「算法」三要素對研究想法成敗的影響。
近日,谷歌大腦研究員 Sara Hooker 寫了一篇論文,她用「硬件彩票」(hardware lottery)來描述:一個研究想法的成功是因為具備了合適的軟硬件,而不是這個想法比其他研究方向更加優(yōu)秀。早期計算機科學史的許多例子表明,硬件彩票通過把成功的研究想法看作失敗,而拖慢了研究進度。而領域?qū)S糜布某霈F(xiàn)使研究想法偏離慣常路徑的成本增加,這就讓這一現(xiàn)象更加顯著。
論文地址:
https://arxiv.org/pdf/2009.06489v1.pdf
這篇論文指出,算力進步帶來的收獲可能更加不均勻,某些研究方向走上了快車道,而有的則困難重重。
人工智能領域,硬件決定 idea 的成敗
歷史告訴我們,科學進展并非是一帆風順的。知識傳統(tǒng)和可用工具會使科學家對特定想法形成不同的認知,這為判斷研究想法是否有潛力增加了噪聲。這篇論文指出,在人工智能研究領域中,工具對于判斷研究想法的成敗起到了絕大部分的作用。
這篇論文用「硬件彩票」來描述這一現(xiàn)象:一個研究想法的成功是因為它可以與當時的軟硬件兼容,而不是因為這個想法比其他研究方向優(yōu)秀。在早期計算機科學史上,軟硬件選擇常常對決定研究想法的成敗起到?jīng)Q定性作用。
隨著我們進入軟件、硬件和機器學習研究社區(qū)更加緊密合作的新時代,這些經(jīng)驗愈發(fā)凸顯。過去幾十年,人們將硬件、軟件和算法看作割裂的選項,但促使近期三者更加緊密協(xié)作的催化劑就包括正在改變的硬件、深度學習架構「規(guī)模越大性能越好」的理念,以及將機器學習部署到邊緣設備的需求。
軟硬件和機器學習算法之間更緊密合作的核心是新一代領域?qū)S糜布鼈冡槍ι疃?a href="http://www.www27dydycom.cn/tags/神經(jīng)網(wǎng)絡/" target="_blank">神經(jīng)網(wǎng)絡的商用進行了優(yōu)化。盡管領域?qū)S糜布橹髁魃疃壬窠?jīng)網(wǎng)絡研究帶來了重要的效率提升,但這也使得研究想法偏離既有路徑的成本增加。更加碎片化的硬件市場意味著基于算力進展獲得的收益將變得更加不均衡。盡管深度神經(jīng)網(wǎng)絡已經(jīng)有了明確的商用場景,但目前已經(jīng)出現(xiàn)了早期信號,提醒我們要實現(xiàn) AI 的下一個突破可能需要完全不同的算法、硬件和軟件組合。
硬件、軟件、算法:三個獨立的部落
對于首批計算機的創(chuàng)造者而言,程序是機器。早期的機器是單獨使用的,且不會適應新的任務,原因在于電子器件成本高且缺乏跨任務的軟件。
查爾斯 · 巴貝奇的差分機僅用于計算多項式函數(shù) (1817)。美國第一部大尺度自動數(shù)位電腦馬克一號(Mark I)是可編程計算器(1944)。Rosenblatt 的感知器用來計算 step-wise 單層網(wǎng)絡(1958)。甚至常被認為是首批可編程機器的雅卡爾織布機重新穿孔的成本也很高,因此它通常只穿孔一次 (1804)。
這些早期計算機的專用性是出于當時的需要,而不是計算機設計師認為一次性的定制硬件更好。但是,需要指出的是,人類智能本身就是算法和機器的結合。我們一生中不會長出多個大腦。而人類智能的概念本質(zhì)上與 1400g 腦組織和大腦中 850 億神經(jīng)元之間的連接密切相關。當我們談論人類智能時,你腦海中浮現(xiàn)出的圖像可能是粉色帶褶皺的一團(
-
算法
+關注
關注
23文章
4710瀏覽量
95378 -
硬件
+關注
關注
11文章
3484瀏覽量
67496 -
人工智能
+關注
關注
1806文章
49014瀏覽量
249446
發(fā)布評論請先 登錄
評論