人工智能不再準備著有朝一日改變世界，而是正在改變世界。在我們買入新的一年和十年之際，VentureBeat邀請了人工智能領(lǐng)域最敏銳的一些人，重新審視了2019年取得的成就，并展望了機器學習在2020年將如何成熟。

每個人都有對未來一年的預測，但這些人——在人工智能領(lǐng)域擁有權(quán)威的個人——正在塑造今天的未來，他們珍視科學追求，他們的經(jīng)歷為其贏得了信譽。盡管一些人預測在諸如半監(jiān)督學習和神經(jīng)符號方法等子領(lǐng)域會有進步，但幾乎所有ML領(lǐng)域的杰出人士都表示，在2019年基于Transformer的自然語言模型方面取得了巨大進步，并預計在面部識別等技術(shù)方面會繼續(xù)存在爭議。他們還希望看到人工智能領(lǐng)域發(fā)展出比準確性更有價值的東西。

Soumith Chintala

PyTorch的負責人、首席工程師和創(chuàng)建者

不管你如何評價，PyTorch是當今世界上最受歡迎的機器學習框架。 PyTorch是2002年引入的Torch開源框架的衍生產(chǎn)品，于2015年可用，并且在擴展和庫中穩(wěn)步增長。

今年秋天，F(xiàn)acebook發(fā)布了帶有量化和TPU支持的PyTorch 1.3，以及深度學習可解釋性工具Captum和PyTorch Mobile。還有諸如PyRobot和PyTorch Hub之類的東西，用于共享代碼并鼓勵ML從業(yè)者支持可重復性。

今年秋天在PyTorch開發(fā)大會上，Chintala在與VentureBeat的一次對話中表示，他在2019年的機器學習中幾乎沒有突破性進展。

“實際上，我認為我們沒有開創(chuàng)性的東西……基本上是從Transformer開始的。我們的ConvNets在2012年達到黃金時段，而Transformer在2017年左右。這是我的個人看法?！彼f。

他繼續(xù)稱DeepMind的AlphaGo在強化學習方面的貢獻是開創(chuàng)性的，但是他說，這些成果很難應用到現(xiàn)實世界的實際任務(wù)中。

Chintala還認為，機器學習框架（如PyTorch和谷歌的TensorFlow）的發(fā)展已改變了研究人員探索思想和開展工作的方式，這些機器學習框架在當今的ML從業(yè)者中廣受歡迎。

他說：“從某種意義上說，這是一個突破，它使他們移動的速度比以前快了一兩個數(shù)量級?！?/p>

今年，谷歌和Facebook的開源框架引入了量化，以提高模型訓練的速度。在未來的幾年中，Chintala希望PyTorch的JIT編譯器和Glow等神經(jīng)網(wǎng)絡(luò)硬件加速器的重要性和采用率“爆炸式增長”。

“借助PyTorch和TensorFlow，你已經(jīng)看到了框架的融合。出現(xiàn)量化的原因，以及其他一系列較低級別的效率，是因為下一場戰(zhàn)爭是框架的編譯器——XLA，TVM，PyTorch擁有Glow，許多創(chuàng)新正在等待發(fā)生?！彼f，“在接下來的幾年中，你將看到……如何更智能地量化，如何更好地融合，如何更有效地使用GPU，以及如何自動為新硬件進行編譯?！?/p>

像大多數(shù)其他行業(yè)領(lǐng)導者那樣，Chintala預測AI社區(qū)將在2020年之前將更多的價值放在AI模型性能上，而不僅僅是準確性，并開始將注意力轉(zhuǎn)向其他重要因素，例如創(chuàng)建模型所需的權(quán)重，如何向人類解釋輸出，以及AI如何更好地反映人們想要建立的社會類型。

“如果思考一下過去的五、六年，我們只是關(guān)注準確性，而原始數(shù)據(jù)如英偉達的模型是否更準確？ Facebook的模型更準確嗎？‘”他說， “我實際上認為2020年將是我們開始（以更復雜的方式）進行思考的一年，如果你的模型……沒有良好的互操作性機制（或滿足其他標準），你的模型是否比現(xiàn)在精確3%并不重要?！?/p>

塞萊斯特·基德（Celeste Kidd）

加州大學伯克利分校的發(fā)展心理學家

塞萊斯特·基德（Celeste Kidd）是加州大學伯克利分?；聦嶒炇业闹魅?，她和她的團隊在這里探索孩子們的學習方式。他們的見解可以幫助神經(jīng)網(wǎng)絡(luò)的創(chuàng)建者，這些人正試圖以一種與養(yǎng)育孩子差不多的方式來訓練模型。

她說：“人類嬰兒沒有被標記的數(shù)據(jù)集，但它們管理得很好，對我們來說重要的是要了解這種情況?！?/p>

讓基德在2019年感到驚訝的一件事是，神經(jīng)網(wǎng)絡(luò)創(chuàng)建者的數(shù)量隨隨便便救貶低了自己或其他研究人員的工作，因為他們無法做嬰兒可以做的事情。

她說，當你將嬰兒的行為平均化時，您會看到有證據(jù)表明他們了解某些東西，但他們絕對不是完美的學習者，而這種談話對嬰兒的能力描繪得過于樂觀。

她說：“人類嬰兒很棒，但他們犯了很多錯誤，而且我經(jīng)?？吹饺藗冸S便進行的許多比較，都是把嬰兒行為在人口層面上理想化了。” “我認為，對于目前了解的內(nèi)容與你接下來想要了解的內(nèi)容之間的聯(lián)系，人們很可能會越來越有辨別力?！?/p>

在人工智能中，“黑匣子”這個詞已經(jīng)存在多年了。它曾經(jīng)用來批評神經(jīng)網(wǎng)絡(luò)缺乏可解釋性，但基德認為2020年可能意味著神經(jīng)網(wǎng)絡(luò)不可解釋的觀念的終結(jié)。

她說：“黑匣子的論點是虛假的……大腦也是黑匣子，我們在理解大腦如何工作方面取得了很大進步?！?/p>

在揭開這種對神經(jīng)網(wǎng)絡(luò)的認識的神秘面紗時，基德研究了像麻省理工學院- IBM沃森人工智能實驗室（MIT-IBM Watson AI Lab）執(zhí)行主任奧德·奧利瓦（Aude Oliva）這樣的人的工作。

“我們當時在談?wù)撨@個問題，我說了有關(guān)該系統(tǒng)是黑匣子的事情，她合理地譴責了我，說他們當然不是黑匣子。當然，你可以將它們分解并將它們拆開，看看它們?nèi)绾喂ぷ鞑ζ溥M行實驗，就像我們?yōu)槔斫庹J知所做的一樣。”基德說。

上個月，基德在神經(jīng)信息處理系統(tǒng)（NeurIPS）會議上發(fā)表了開幕式主題演講，這是世界上最大的年度AI研究會議。她的演講重點關(guān)注人腦如何固守頑固的信念，注意力系統(tǒng)和貝葉斯統(tǒng)計。

她說，信息傳遞的“舒適區(qū)”介于一個人之前的興趣和理解與他們感到驚訝的東西之間。人們傾向于較少接觸那些過于令人驚訝的內(nèi)容。

然后她說，不存在中立的技術(shù)平臺，于是她把注意力轉(zhuǎn)向內(nèi)容推薦系統(tǒng)的制造商如何操縱人們的信念。為了追求最大程度的參與而構(gòu)建的系統(tǒng)會對人們?nèi)绾涡纬尚拍詈陀^點產(chǎn)生重大影響。

基德在演講中談到了機器學習中男性的誤解，即與女性同事獨自一人會導致性騷擾指控并結(jié)束男性職業(yè)。她說，這種誤解反而會損害女性在該領(lǐng)域的職業(yè)。

由于在羅切斯特大學發(fā)表有關(guān)性行為不端的言論，基德與其他女性一起被評為2017年度“年度人物”，這些女性幫助實現(xiàn)了我們現(xiàn)在所說的“平等對待婦女運動”。當時，基德認為大聲疾呼將結(jié)束她的職業(yè)生涯。

她希望在2020年看到人們越來越意識到技術(shù)工具和技術(shù)決策對現(xiàn)實生活的影響，并拒絕認為工具制造商對人們的使用行為不負責任的觀點。

她說：“我聽到很多人試圖說’‘我不是真理的審判人’來為自己辯護?！?“我認為必須提高對這是不誠實立場的認識?！?/p>

“在一個社會，尤其是作為使用這些工具的人們，我們真的需要直接意識到隨之而來的責任。”

杰夫·迪恩（Jeff Dean）

谷歌AI總監(jiān)

迪恩領(lǐng)導Google AI已有近兩年時間，但他已經(jīng)在谷歌工作了二十年，是谷歌早期搜索和分布式網(wǎng)絡(luò)算法的架構(gòu)師，也是Google Brain的早期成員。

迪恩上個月在NeurIPS上與VentureBeat進行了交談，在那里他就ASIC半導體設(shè)計的機器學習以及AI社區(qū)應對氣候變化的方式進行了演講，他說這是我們時代最重要的問題。在關(guān)于氣候變化的討論中，迪恩討論了AI可以努力成為零碳行業(yè)以及AI可以用來幫助改變?nèi)祟愋袨榈南敕ā?/p>

他預計到2020年，多模式學習領(lǐng)域?qū)⑷〉眠M展，這是一種依靠多種媒體進行訓練的AI，而多任務(wù)學習則涉及旨在一次完成多個任務(wù)的網(wǎng)絡(luò)。

毫無疑問，2019年最大的機器學習趨勢之一是基于Transformer的自然語言模型的持續(xù)增長和擴散，此前模型Chintala被稱為近年來人工智能最大的突破之一。 谷歌于2018年開源了基于Transformer的模型BERT。根據(jù)GLUE排行榜，今年發(fā)布的許多性能最高的模型（例如Google的XLNet，微軟的MT-DNN和Facebook的RoBERTa）都基于Transformer。公司發(fā)言人告訴VentureBeat，XLNet 2將于本月晚些時候發(fā)布。

迪恩指出了已經(jīng)取得的進展，他說：“ 。。.我認為整個研究線程在實際產(chǎn)生機器學習模型方面非常富有成效，［現(xiàn)在讓我們］做的機器學習模型比過去能夠完成的復雜得多。但是他補充說，仍有增長空間?！拔覀?nèi)匀幌Ｍ軌騽?chuàng)建更多情境的模型。像現(xiàn)在這樣，BERT和其他模型可以很好地處理數(shù)百個單詞，但不能作為處理上下文的10，000個單詞。因此，這是［有趣的方向?！?/p>

迪恩說，他希望少強調(diào)一些最新技術(shù)，而傾向于創(chuàng)建更強大的模型。

Google AI還將努力推進新的舉措，例如Everyday Robot，這是一個于2019年11月推出的內(nèi)部項目，旨在制造能夠在家庭和工作場所完成常見任務(wù)的機器人。

Anima Anandkumar

英偉達機器學習研究總監(jiān)

Anandkumar在擔任AWS首席科學家后加入了GPU制造商英偉達。在英偉達，人工智能研究在多個領(lǐng)域進行，從醫(yī)療保健的聯(lián)合學習到自動駕駛，超級計算機和圖形學。

英偉達和Anandkumar在2019年的重點領(lǐng)域之一是強化學習的仿真框架，這些框架越來越受歡迎且成熟。

在2019年，我們看到了英偉達的Drive autonomus駕駛平臺和Isaac機器人模擬器的興起，以及從模擬和生成對抗網(wǎng)絡(luò)或GAN生成綜合數(shù)據(jù)的模型的興起。

去年還迎來了AI的興起，例如StyleGAN（一種可以使人們分辨不出自己看到的是計算機生成的人臉還是真實的人的網(wǎng)絡(luò)）和GauGAN（可以用畫筆生成風景的網(wǎng)絡(luò)）。 StyleGAN2上個月首次亮相。

GAN是可以模糊現(xiàn)實界限的技術(shù)，Anandkumar認為，它們可以幫助AI社區(qū)嘗試解決的主要挑戰(zhàn)，例如抓握機械臂和自動駕駛。

Anandkumar還希望未來一年通過迭代算法、自我監(jiān)督和訓練模型的自訓練方法取得進展，這些模型可以通過對未標記數(shù)據(jù)進行自我訓練來改進。

“我認為各種不同的迭代算法都是未來，因為如果你只做一個前饋網(wǎng)絡(luò)，那么魯棒性就成為問題。”她說：“如果你嘗試進行多次迭代，并根據(jù)所需的數(shù)據(jù)類型或精度要求對迭代進行調(diào)整，那么實現(xiàn)這一目標的機會就更多了。”

Anandkumar看到了2020年AI社區(qū)面臨的眾多挑戰(zhàn)，例如需要與各領(lǐng)域?qū)＜乙坏绖?chuàng)建專門針對特定行業(yè)的模型。決策者、個人和AI社區(qū)也將需要解決代表性問題，以及確保用于訓練模型的數(shù)據(jù)集能夠涵蓋不同人群的挑戰(zhàn)。

她說：“我認為［面部識別問題］很容易掌握，但是在很多［其他領(lǐng)域］……人們沒有意識到使用數(shù)據(jù)存在隱私問題。”

Anandkumar說，面部識別得到了最大的關(guān)注，因為很容易理解面部識別如何侵犯個人隱私，但是AI社區(qū)在2020年還面臨許多其他道德問題。

“我們將在數(shù)據(jù)收集方式和使用方式方面進行越來越嚴格的審查。這種情況正在歐洲發(fā)生，但是在美國，我們肯定會看到更多這樣的情況，而且出于正確的理由，我們會看到更多這樣的情況，比如國家運輸安全委員會和聯(lián)邦運輸管理局?！彼f。

在Anandkumar看來，2019年的一大驚喜是文本生成模型的發(fā)展速度。

“ 2019年是語言模型之年，對嗎？現(xiàn)在，我們第一次在段落長度上達到了更加連貫的文本生成，這在以前是不可能的，但現(xiàn)在已經(jīng)很好了?！盇nandkumar說。

2019年8月，英偉達推出了Megatron自然語言模型。Megatron擁有80億個參數(shù)，是全球最大的基于Transformer的AI模型。 Anandkumar說，她對人們開始將模型表征為具有個性或字符的方式感到驚訝，并且她希望看到更多針對特定行業(yè)的文本模型。

“我們還沒有達到產(chǎn)生對話的階段，這種對話是互動的，可以跟蹤并進行自然的對話。所以我認為，到2020年，在這個方向上將會有更多認真的嘗試?！彼f。

例如，開發(fā)用于控制文本生成的框架要比開發(fā)用于識別人或?qū)ο蟮膱D像的框架更具挑戰(zhàn)性。文本生成模型還可能面臨例如為神經(jīng)模型定義事實的挑戰(zhàn)。

最后，Anandkumar說，她很高興看到基德在NeurIPS上的演講獲得了起立鼓掌，并且被機器學習社區(qū)中越來越成熟和包容的跡象所鼓舞。

“我覺得現(xiàn)在是分水嶺?！?她說， “一開始甚至很難做些小改動，然后大壩就破裂了。我希望是這樣，因為在我看來，我希望保持這種勢頭，并進行更大的結(jié)構(gòu)改革，并使所有小組，這里的每個人都蓬勃發(fā)展。”

達里奧·吉爾（Dario Gil）

IBM研究總監(jiān)

吉爾領(lǐng)導的一組研究人員積極為白宮和世界各地的企業(yè)提供咨詢服務(wù)。他認為，2019年的重大飛躍包括圍繞生成模型的進步，以及生成可信語言的質(zhì)量不斷提高。

他預測，在降低精度的體系結(jié)構(gòu)上，更有效的培訓將繼續(xù)取得進展。更高效的AI模型的開發(fā)是NeurIPS的重點，IBM Research在此引入了具有8位精度模型的深度學習技術(shù)。

他說：“我們用現(xiàn)有的硬件和GPU架構(gòu)來訓練深度神經(jīng)網(wǎng)絡(luò)，其效率仍然很低。”因此，對這個問題進行根本性的反思是非常重要的。我們必須提高人工智能的計算效率，這樣我們才能做得更多?！?/p>

吉爾引用研究表明，對機器學習訓練的需求每三個半月翻一番，這比摩爾定律所預測的增長快得多。

吉爾也對AI如何幫助加速科學發(fā)現(xiàn)感到興奮，但是IBM Research將主要專注于機器學習的神經(jīng)符號方法。

吉爾希望AI從業(yè)者和研究人員將專注于準確性以外的指標，以考慮生產(chǎn)中部署的模型的價值。將該領(lǐng)域轉(zhuǎn)向構(gòu)建受信任的系統(tǒng)，而不是把準確性放在首位，這將是繼續(xù)采用AI的中心支柱。

“社區(qū)中有些人可能會繼續(xù)說，‘不用擔心，只要提供準確性。沒關(guān)系，人們會習慣這個東西有點像黑匣子，”或者他們會提出這樣的論點，即人們有時不會對我們做出的某些決定產(chǎn)生解釋。我認為，非常重要的一點是，我們要集中社區(qū)的知識力量，在此方面做得更好。人工智能系統(tǒng)不能成為關(guān)鍵任務(wù)應用程序的黑匣子?！?/p>

吉爾相信要擺脫這樣的觀念，即只有少數(shù)機器學習向?qū)Р拍茏龅紸I，以確保更多的具有數(shù)據(jù)科學和軟件工程技能的人采用AI。

他說：“如果我們把它作為一個神秘領(lǐng)域，那就是AI的領(lǐng)域，只對從事這方面研究的博士開放，它并不能真正促進人工智能的應用。”

在來年，吉爾對神經(jīng)符號AI特別感興趣。 IBM將尋求神經(jīng)符號方法來增強諸如概率性編程之類的功能，其中AI將學習如何操作程序以及可共享其決策背后原因的模型。

他說：“通過采用這種混合的方法，一種新的當代方法，通過這些神經(jīng)符號方法，把學習和推理結(jié)合在一起。在這種方法中，符號維度嵌入到學習程序中。我們已經(jīng)證明，你可用所需數(shù)據(jù)的一小部分來學習?！薄耙驗槟銓W了一個程序，你最終得到了一些可解釋的東西，并且因為你有了一些可解釋的東西，你得到了一些更可信的東西?！?/p>

他說，公平性，數(shù)據(jù)完整性和數(shù)據(jù)集選擇等問題將繼續(xù)引起人們的廣泛關(guān)注，“與生物識別技術(shù)有關(guān)的任何事情也將如此”。面部識別得到了很多關(guān)注，但這僅僅是開始。語音數(shù)據(jù)以及其他形式的生物識別技術(shù)將越來越具有敏感性。他繼續(xù)引用了哥倫比亞大學教授Rafael Yuste的話，他從事神經(jīng)技術(shù)研究，并正在探索提取視覺皮層上神經(jīng)模式的方法。

吉爾說：“我以這個例子為例，所有與身份、人的生物特征以及人工智能在分析方面取得的進步，將繼續(xù)處于前沿和中心位置?！?/p>

除了神經(jīng)符號和常識推理（MIT-IBM沃森實驗室的一項旗艦計劃外），吉爾于2020年表示，IBM Research還將探索AI量子計算，以及AI模擬硬件，而不僅僅是降低精度的架構(gòu)。

總結(jié)

機器學習正在繼續(xù)塑造商業(yè)和社會，VentureBeat采訪的研究人員和專家看到了一些即將出現(xiàn)的趨勢：

隨著Transformers推動了巨大的飛躍，自然語言模型的進步是2019年的主要故事。在2020年尋找更多基于BERT和基于Transformer的模型的變體。

人工智能行業(yè)應該尋找方法來評估模型輸出的準確性。

諸如半監(jiān)督學習，機器學習的神經(jīng)符號方法之類的方法以及諸如多任務(wù)和多模式學習之類的子領(lǐng)域可能會在明年出現(xiàn)。

與生物統(tǒng)計數(shù)據(jù)（如語音記錄）相關(guān)的倫理挑戰(zhàn)可能會繼續(xù)引起爭議。

量化之類的編譯器和方法可能會在諸如PyTorch和TensorFlow之類的機器學習框架中作為優(yōu)化模型性能的方式而流行。作者最新文章

2020年人工智能將如何發(fā)展？機器學習領(lǐng)域頂尖人物預測有這些趨勢喜憂參半！盤點2019年科技界最好和最差的IPO：優(yōu)步、Lyft前景慘淡宇宙中或布滿看不見的弦組成的“蜘蛛網(wǎng)” 奏出一章弦樂交響曲相關(guān)文章