各自上路，改寫(xiě)AI故事。

谷歌人工智能領(lǐng)域最有影響力的論文之一《Attention Is All You Need》的共同作者之一的人工智能研究員Llion Jones證實(shí)，他將于本月晚些時(shí)候離開(kāi)谷歌日本公司并計(jì)劃在休假后創(chuàng)辦一家公司。

Llion Jones對(duì)媒體表示："離開(kāi)谷歌并不是一個(gè)容易的決定，與谷歌一起度過(guò)了美妙的十年，但現(xiàn)在是時(shí)候嘗試一些不同的東西了。考慮到人工智能的發(fā)展勢(shì)頭和進(jìn)展，我覺(jué)得現(xiàn)在也是建立新公司的好時(shí)機(jī)"。

自2017年出版以來(lái)，《Attention Is All You Need》轟動(dòng)硅谷。該論文介紹了Transformer的概念，這種系統(tǒng)可以幫助人工智能模型將其正在分析的數(shù)據(jù)中最重要的信息歸零。Transformer 現(xiàn)在是大型語(yǔ)言模型的關(guān)鍵構(gòu)建塊，該技術(shù)是 OpenAI 的 ChatGPT 等流行人工智能產(chǎn)品的基礎(chǔ)。

隨著Llion Jones的離開(kāi)，這篇論文所有八位作者都已離開(kāi)谷歌。

人們也許不認(rèn)識(shí)他們的臉，或者沒(méi)聽(tīng)過(guò)他的名字，但只需要5秒鐘，就可以介紹他們的身份——“他們創(chuàng)作了ChatGPT中的“T”。

來(lái)源：PitchBook

谷歌為何失去“Transformer八子”

Transfomer是谷歌最重要的發(fā)明之一，它最初是在午餐時(shí)設(shè)計(jì)出來(lái)的。2017年，Alphabet公司加利福尼亞山景城總部的研究人員在中午用餐時(shí)談?wù)撊绾巫層?jì)算機(jī)更高效地生成文本。在接下來(lái)的5個(gè)月里，他們進(jìn)行了實(shí)驗(yàn)，并在沒(méi)有意識(shí)到他們所發(fā)現(xiàn)的問(wèn)題的重要性的情況下，將他們的發(fā)現(xiàn)寫(xiě)成了一篇名為 《Attention is All You Need 》的研究論文。

隨后，他們帶來(lái)了人工智能的飛躍。

這篇論文的八位作者創(chuàng)建了Transformer系統(tǒng)，使機(jī)器能夠比以往任何時(shí)候都更高效地生成類(lèi)似人類(lèi)的文本、圖像、DNA序列和許多其他類(lèi)型的數(shù)據(jù)。他們的論文最終被其他研究人員引用了8萬(wàn)多次，他們?cè)O(shè)計(jì)的人工智能架構(gòu)為OpenAI的ChatGPT（"T "代表Transformer）、Midjourney等圖像生成工具提供了基礎(chǔ)。

谷歌與全世界分享了這一發(fā)現(xiàn)，科技公司經(jīng)常開(kāi)源新技術(shù)，以獲得反饋、吸引人才和建立支持者社區(qū)。

但谷歌本身并沒(méi)有立即使用這項(xiàng)新技術(shù)。在谷歌努力將其尖端研究成果轉(zhuǎn)化為可用服務(wù)的過(guò)程中，該系統(tǒng)處于相對(duì)休眠狀態(tài)長(zhǎng)達(dá)數(shù)年之久。但另一家公司OpenAI，它利用了谷歌的發(fā)明，對(duì)這家搜索巨頭發(fā)起了多年來(lái)最嚴(yán)重的威脅。

谷歌哪里出了問(wèn)題？

一個(gè)明顯的問(wèn)題是規(guī)模。根據(jù)人工智能公司 Glass.ai 的估計(jì)，谷歌擁有一支由 7,133 名員工組成的隊(duì)伍，而其員工總數(shù)約為 140,000 人。Glass.ai 今年早些時(shí)候掃描了 LinkedIn 的個(gè)人資料，以識(shí)別大型科技公司的人工智能員工。相比之下，OpenAI 引發(fā)了一場(chǎng) AI 軍備競(jìng)賽，其員工規(guī)模要小得多——到 2023 年，大約 375 名員工中約有 150 名 AI 研究人員。

谷歌的龐大規(guī)模意味著科學(xué)家和工程師在創(chuàng)建 Transformer 時(shí)必須經(jīng)過(guò)多層管理才能批準(zhǔn)想法。谷歌智庫(kù)（該公司主要人工智能部門(mén)之一）的研究人員也缺乏明確的戰(zhàn)略方向，導(dǎo)致許多人沉迷于職業(yè)發(fā)展和研究論文的知名度。

另一個(gè)問(wèn)題在于，將創(chuàng)意轉(zhuǎn)化為新產(chǎn)品的門(mén)檻也非常高。25 歲的伊利亞·波洛蘇欣 (Illia Polosukhin) 第一次與研究員同事阿什什·瓦斯瓦尼 (Ashish Vaswani) 和雅各布·烏茲科雷特 (Jakob Uszkoreit) 在谷歌食堂坐下來(lái)時(shí)說(shuō)道，“除非（一個(gè)想法）能成為一項(xiàng)價(jià)值十億美元的業(yè)務(wù)，否則谷歌不會(huì)采取行動(dòng)。”但建立一個(gè)價(jià)值十億美元的業(yè)務(wù)需要不斷的迭代和面對(duì)大量問(wèn)題，這是谷歌并不總是容忍的。

谷歌的一位女發(fā)言人表示，該公司 "為我們?cè)赥ransformer的行業(yè)定義性、突破性工作感到自豪，并為它所創(chuàng)造的人工智能生態(tài)系統(tǒng)而感到振奮，包括讓我們的研究員在谷歌公司外推進(jìn)他們的研究與其他人合作并且發(fā)現(xiàn)新機(jī)會(huì)。"

德語(yǔ)流利的 Uszkoreit 注意到，這項(xiàng)新技術(shù)可以比谷歌翻譯更準(zhǔn)確地將英語(yǔ)翻譯成德語(yǔ)。但谷歌本身花了很長(zhǎng)時(shí)間才將該技術(shù)應(yīng)用到其免費(fèi)翻譯工具或其語(yǔ)言模型 BERT 中，而且該公司從未將其部署在任何人都可以測(cè)試的聊天機(jī)器人中。也就是說(shuō)，直到 2022 年底 ChatGPT 的推出才迫使谷歌在 2023 年 3 月迅速發(fā)布了Bard。

多年來(lái)，這些研究員們見(jiàn)證了他們的想法被其他人應(yīng)用到一系列任務(wù)中，從 OpenAI 的 ChatGPT 早期迭代到 DALL-E，從 Midjourney 的圖像工具到 DeepMind 的蛋白質(zhì)折疊系統(tǒng) AlphaFold。很難不注意到最令人興奮的創(chuàng)新發(fā)生在山景城之外。

在某種程度上，谷歌成為了自身成功的受害者。它的隊(duì)伍中有像 Geoffrey Hinton 這樣的傳奇人工智能科學(xué)家，并且在 2017 年就已經(jīng)在使用尖端的人工智能技術(shù)來(lái)處理文本。許多研究人員的心態(tài)是“如果它沒(méi)有壞，就不要修理它?！?/p>

價(jià)值40億美元的AI巨星們

共同撰寫(xiě)2017年論文的研究人員離開(kāi)谷歌后，他們繼續(xù)創(chuàng)辦創(chuàng)業(yè)公司，包括生產(chǎn)企業(yè)軟件的Cohere，以及由Noam Shazeer創(chuàng)辦的Character.ai，Noam Shazeer是該小組中在谷歌任職時(shí)間最長(zhǎng)的人，曾被視為公司的人工智能傳奇人物。

根據(jù)研究公司Pitchbook和價(jià)格追蹤網(wǎng)站CoinMarketCap的估值統(tǒng)計(jì)，他們的企業(yè)總價(jià)值約為41億美元?？梢哉f(shuō)，他們是硅谷的人工智能的“貴族”。

八位作者在谷歌的工作時(shí)長(zhǎng)

Polosukhin此后創(chuàng)辦了一家區(qū)塊鏈公司。Vaswani和 Niki Parmar 創(chuàng)辦了企業(yè)軟件公司 Essential.ai。Uszkoreit 喜歡挑戰(zhàn)人工智能研究的現(xiàn)狀——他的觀點(diǎn)是，如果它還沒(méi)有被打破，那就打破它，此后他與他人共同創(chuàng)立了一家名為 Inceptive Nucleics 的生物技術(shù)公司。

2016 年，Uszkoreit探索了人工智能中“注意力”的概念，即計(jì)算機(jī)區(qū)分?jǐn)?shù)據(jù)集中最重要的信息。一年后的午餐時(shí)，三人討論了如何利用這個(gè)想法來(lái)更有效地翻譯單詞。當(dāng)時(shí)的谷歌翻譯很笨拙，尤其是對(duì)于非拉丁語(yǔ)言?！皾h語(yǔ)轉(zhuǎn)俄語(yǔ)太糟糕了，”P(pán)olosukhin回憶道。

其中一個(gè)問(wèn)題在于循環(huán)神經(jīng)網(wǎng)絡(luò)處理序列中的單詞。它很慢并且沒(méi)有充分利用可以同時(shí)處理大量任務(wù)的芯片。家用計(jì)算機(jī)中的 CPU 可能有四個(gè)“核心”，用于處理和執(zhí)行指令，但用于處理人工智能系統(tǒng)的服務(wù)器中的 CPU 有數(shù)千個(gè)核心。這意味著人工智能模型可以同時(shí)“讀取”句子中的許多單詞。沒(méi)有人充分利用這一點(diǎn)。

Uszkoreit 會(huì)在 Google 辦公室里走來(lái)走去，在白板上畫(huà)出新架構(gòu)的圖表，并且經(jīng)常遭到懷疑。瓊斯說(shuō)，他的團(tuán)隊(duì)希望刪除當(dāng)時(shí)使用的循環(huán)神經(jīng)網(wǎng)絡(luò)中的“循環(huán)”部分，這“聽(tīng)起來(lái)很瘋狂”。但隨著Parmar, Aidan Gomez和 Lukasz Kaiser等其他一些研究人員加入該小組，他們開(kāi)始看到進(jìn)展。

曾經(jīng)，硅谷“八叛逆”改變了集成電路的歷史，如今谷歌的“八叛逆”會(huì)給世界帶來(lái)怎樣的變化？