AI Lab在一個公司應(yīng)當(dāng)是什么樣的角色？字節(jié)跳動副總裁、人工智能實驗室主任馬維英表示：AI Lab不僅是公司內(nèi)部的AI研究所，也是AI技術(shù)提供商與服務(wù)商，應(yīng)當(dāng)注重與高校和政府的合作，并強(qiáng)調(diào)人才培養(yǎng)的重要性。

AI Lab應(yīng)當(dāng)是公司的“廠牌”。

字節(jié)跳動實現(xiàn)建設(shè)全球創(chuàng)作與交流平臺的愿景，以及取得當(dāng)前全球化進(jìn)展，都離不開人工智能技術(shù)提供的關(guān)鍵支撐。字節(jié)跳動一向重視人工智能技術(shù)的發(fā)展，而其AI Lab，最開始是因NLP領(lǐng)域科學(xué)家李磊的加入而出名，隨后馬維英、李航等大佬也陸續(xù)入伙。

與此同時，今日頭條母公司字節(jié)跳動，推出抖音、火山小視頻等一些列風(fēng)靡全球的產(chǎn)品，估值上升、用戶增長。

而這一切背后提供支撐的人工智能實驗室卻鮮少露面，這一年來字節(jié)跳動的AI Lab究竟都做了什么呢？作為亞研院前常務(wù)副院長的馬維英，所帶隊的字節(jié)跳動AI Lab又有何不同呢？

11月11日，字節(jié)跳動舉辦了2018 AI OPENDAY沙龍?；顒诱故玖俗止?jié)跳動AI Lab在計算機(jī)視覺、自然語言處理、語音和視頻處理、機(jī)器學(xué)習(xí)等領(lǐng)域中取得的一些列成果。

而后字節(jié)跳動副總裁、人工智能實驗室主任馬維英，針對此次沙龍活動做了主題演講，慢慢揭開了字節(jié)跳動AI Lab神秘的面紗。

馬維英談AI Lab吸引優(yōu)秀人才的秘籍：五大AI戰(zhàn)略資源是關(guān)鍵

相似于人才培養(yǎng)：給予自由，讓興趣成為自驅(qū)的動力

馬維英表示，之前在微軟亞洲研究院時特別欣賞其培養(yǎng)人才的一個方式，就是當(dāng)新人剛?cè)肼殨r，不會立刻讓他們選擇具體研究方向，而是會給予他們足夠多的自由和空間，激勵他們尋求自己最為感興趣的一個領(lǐng)域。

在這個方面，字節(jié)跳動也是如此的。馬維英很感謝微軟給他的成長空間，因此到了字節(jié)跳動之后，他也在新的團(tuán)隊延續(xù)了這樣的氛圍。字節(jié)跳動AI lab特別喜歡自己有想法、能夠自驅(qū)、愿意不斷去學(xué)習(xí)且更加無所畏懼的研究人員；而不是害怕失敗，著重于眼前利益的人。

區(qū)別于數(shù)據(jù)與場景：微軟研究院專注于技術(shù)轉(zhuǎn)移，字節(jié)跳動AI Lab鼓勵研究員直接參與到產(chǎn)品研發(fā)，利用豐富的應(yīng)用場景、大量的數(shù)據(jù)和用戶反饋推進(jìn)科研和技術(shù)創(chuàng)新

除了基礎(chǔ)研究這方面，微軟做的更多的是技術(shù)轉(zhuǎn)移。與微軟不同的是，字節(jié)跳動擁有豐富的應(yīng)用場景。大量的數(shù)據(jù)和反饋對AI Lab的工作是有幫助的。就像在象牙塔里搞研究，有時反而解決不了問題。只有解決真實的應(yīng)用場景問題，才是所謂的Real Impact。

正如最近一位UC Berkeley的教授所述，要做“Use Inspired”的研究。而在字節(jié)跳動，非常幸運一點就是，人類所有的數(shù)據(jù)都在信息和內(nèi)容里。

再具體一點可總結(jié)為一句話：字節(jié)跳動擁有做AI最重要的五個戰(zhàn)略資源。

大數(shù)據(jù)：最好這家公司能夠擁有全世界最大的數(shù)據(jù)資源，擁有數(shù)據(jù)才是“王道”；

應(yīng)用場景：在字節(jié)跳動，研究人員每天都能夠從公司的應(yīng)場景中找到問題，并想要去解決；

算力：而字節(jié)跳動的Internet Data Center在國內(nèi)也是比較出眾的；

AI需閉環(huán)：其實很多用戶交互相當(dāng)于遞給了你一份大數(shù)據(jù)的，提供了更為細(xì)粒度的標(biāo)注數(shù)據(jù)，而字節(jié)跳動每日全球活躍用戶所提供的數(shù)據(jù)之海量，堪稱一筆財富；

人才：最頂尖聰明的人才是非常關(guān)鍵的一點。不僅公司內(nèi)部要有這樣的人才，最好與之相關(guān)的學(xué)術(shù)界、產(chǎn)業(yè)界、社區(qū)都是頂級的人才。

在基礎(chǔ)研究方面，字節(jié)跳動的AI Lab研究領(lǐng)域包括計算機(jī)視覺、自然語言處理、機(jī)器學(xué)習(xí)、語音&音頻處理、數(shù)據(jù)&知識挖掘、計算機(jī)圖像學(xué)、系統(tǒng)&網(wǎng)絡(luò)、信息安全以及工程&產(chǎn)品。

馬維英表示，字節(jié)跳動會在每個領(lǐng)域中，都會招聘最優(yōu)秀的人才，而在招聘后不會立即確定他們的方向，而是會讓他們摸索自己感興趣的方向，而后再做出選擇。

除了基礎(chǔ)研究，字節(jié)跳動AI Lab也非常重視工程落地的能力，因此也倍加關(guān)注對這方面的人才招聘。將工程團(tuán)隊與科研研究人員混搭在一起，做更好的創(chuàng)新，并輸出核心技術(shù)，孵化產(chǎn)品，做到真正的AI應(yīng)用落地。

正因如此，字節(jié)跳動吸引了一大批優(yōu)秀的“新鮮血液”。例如，來自字節(jié)跳動AI Lab的一位90后研究人員，不僅論文被Transition of ACL收錄，還被邀請去了墨爾本做現(xiàn)場演講。

該論文中所提出的模型在中英，德英和英法三個標(biāo)準(zhǔn)數(shù)據(jù)集上可以顯著地提高基線系統(tǒng)的性能，相比于老一輩的「覆蓋率模型」擁有更好的翻譯質(zhì)量和對齊質(zhì)量。

該研究也已成功的應(yīng)用到了字節(jié)跳動旗下多款國際產(chǎn)品中（如TopBuzz、Tik Tok等等），為全球上億的用戶們提供著內(nèi)容翻譯服務(wù)。

馬維英談?wù)衅笜?biāo)準(zhǔn)——三個關(guān)鍵字：

馬維英老師還透露了他在招聘人才時的標(biāo)準(zhǔn)，總結(jié)為三個關(guān)鍵字：

數(shù)學(xué)功底：能夠知曉問題的本質(zhì)，對模型能夠有透徹的了解，而不是把它當(dāng)一個黑箱或者工具，簡單的調(diào)調(diào)參數(shù)；

編程能力：有很好的想法，但是無法實現(xiàn)也是不行的；

態(tài)度：人際溝通、表達(dá)，對工作的態(tài)度也是非常重要的。

另外，馬維英老師也非常注重眼神的交流，“大概溝通十分鐘，我就能看出一個人特質(zhì)?！瘪R維英老師笑言，這可能是他在招聘中獨有的一種天賦。

字節(jié)跳動AI Lab定位：公司內(nèi)部的研究所和技術(shù)服務(wù)商

國內(nèi)外各大巨頭與初創(chuàng)企業(yè)紛紛成立人工智能實驗室，而各家企業(yè)人工智能實驗室所關(guān)注與努力的側(cè)重有所不同。

字節(jié)跳動人工智能實驗室成立于2016年，依托字節(jié)跳動的海量數(shù)據(jù)，專注于人工智能領(lǐng)域的前沿技術(shù)研究，并將研究成果應(yīng)用于字節(jié)跳動的產(chǎn)品中，利用人工智能幫助內(nèi)容的創(chuàng)作、分發(fā)、互動、管理。將人工智能最早大規(guī)模應(yīng)用于信息分發(fā)便是字節(jié)跳動早期發(fā)展的核心。

AI時代下的4種管道連接人和信息，促進(jìn)交流和創(chuàng)作

這4種主要的方式分別是推薦、搜索、助理與社區(qū)/社交。推薦和助理都屬于比較被動的方式，會根據(jù)用戶的所好進(jìn)行內(nèi)容的分發(fā)；搜索在今天也仍然重要，它是一種主動獲取行為；新一代的語音助理能夠讓用戶更加自然地與計算機(jī)進(jìn)行交互，從而達(dá)到幫助用戶的目的；最后，類似轉(zhuǎn)發(fā)“朋友圈”這種社交式的信息傳播也是非常重要的。

新一代AI驅(qū)動信息平臺，使得交流與創(chuàng)作方式更加智能

人工智能基礎(chǔ)設(shè)施、平臺與服務(wù)，基于大數(shù)據(jù)、人工智能學(xué)習(xí)數(shù)據(jù)流的語義表示，對信息進(jìn)行分析、處理、挖掘、理解和組織，使得內(nèi)容能夠在分發(fā)、搜索、互動、過濾和運營方面變得更加智能，做到人工智能輔助消費與生產(chǎn)。

所以，人工智能實驗室所肩負(fù)的使命是艱巨而又重要的。

AI Lab賦能產(chǎn)品、服務(wù)人類

短視頻已然成為一個內(nèi)容形態(tài)的爆發(fā)點。特別是計算機(jī)視覺、智能語音賦予了每位用戶更強(qiáng)的創(chuàng)作能力。

抖音是字節(jié)跳動風(fēng)靡全球的產(chǎn)品。這個產(chǎn)品背后有非常多的 AI 技術(shù)。比如，抖音是一個開放共享的平臺，內(nèi)容審核方面的挑戰(zhàn)是非常大的。字節(jié)跳動一直用人工智能輔助審核，過濾理解這些視頻內(nèi)容，進(jìn)行版權(quán)識別。

目前平臺上，每天有龐大數(shù)量的短視頻內(nèi)容被創(chuàng)作出來。而機(jī)器學(xué)習(xí)模型上線之后，也在持續(xù)不斷迭代完善。

在視頻內(nèi)容領(lǐng)域也希望能夠做出更好的搜索。視頻的搜索需要對視頻的內(nèi)容有更好的理解，包括動作的理解、物體的檢測跟蹤，還有視頻里的環(huán)境識別。也希望針對每一個視頻，AI都能理解它的情感和情緒。

連接人跟信息是一個人類社會的基礎(chǔ)設(shè)施。在這個設(shè)施的運作過程中，能夠利用大數(shù)據(jù)、豐富應(yīng)用的場景、大量的活躍用戶，去不斷完善和迭代，進(jìn)一步賦能。而技術(shù)的進(jìn)步最終是服務(wù)于人類的。

截至2018年10月24日，頭條尋人共彈窗52824尋人啟事，找到7401

字節(jié)跳動將人工智能結(jié)合產(chǎn)品功能積極服務(wù)于公益，兩年半時間成功尋回7254名走失者的“頭條尋人”，這是一個典型的運用人工智能促進(jìn)信息效率，進(jìn)而服務(wù)公益的產(chǎn)品機(jī)制：結(jié)合智能推薦和地理推送技術(shù)，以走失者走失地為圓心，根據(jù)走失者行走速度等信息進(jìn)行數(shù)據(jù)分析和計算，預(yù)估出可能的走失范圍，在此范圍內(nèi)推送尋人信息，實現(xiàn)每條尋人信息的精準(zhǔn)地理范圍覆蓋和人群觸達(dá)，從而大大提高尋人成功率。

9月底上線、目前已成功尋回30名走失者的“抖音尋人”和“頭條尋人”工作原理一致，只是推送的尋人信息變成了短視頻形式，運用自動生成視頻技術(shù)，一條文字版的尋人信息，不到10秒鐘，即可自動生成為一條抖音尋人視頻。

馬維英對字節(jié)跳動AI Lab的定義為：公司內(nèi)部的AI技術(shù)提供商和服務(wù)商，于未來將成為公司對外輸出AI能力的重要部門。

AI實力全方位展示：問鼎CVPR、NIPS、NAACL等頂會，榮獲吳文俊人工智能科學(xué)技術(shù)獎

一個人工智能實驗室的成功，少不了頂尖“智腦”的相聚與思想的碰撞。而字節(jié)跳動AI Lab可謂是群賢畢至，包括大家熟知的馬維英、李航、李磊等。

除了擁有大量優(yōu)秀的科學(xué)領(lǐng)軍人物之外，2018年字節(jié)跳動AI Lab團(tuán)隊建設(shè)和成長方面也是收獲頗豐。AI Lab團(tuán)隊總?cè)藬?shù)由去年的65人增長至150人，計算機(jī)視覺、自然語言、機(jī)器學(xué)習(xí)、系統(tǒng)&網(wǎng)絡(luò)的團(tuán)隊人數(shù)比去年增加一倍之多，而語音&音頻、安全以及美國AI Lab的團(tuán)隊人數(shù)更是飛速增長。

不僅在團(tuán)隊建設(shè)，字節(jié)跳動AI Lab在學(xué)術(shù)和項目成果方面也可謂是碩果累累。

11月11日，在字節(jié)跳動舉辦的2018 AI OPENDAY沙龍活動中，展出了AI Lab許多優(yōu)秀的項目與研究。

Deep Understanding of Live Soccer Matches

已被CVPR 2018接收

項目介紹：基于計算機(jī)視覺技術(shù)，系統(tǒng)可以對足球比賽視頻進(jìn)行深度理解和信息挖掘，豐富球迷的觀賽體驗。該系統(tǒng)在2018世界杯期間介入今日頭條客戶端直播間，實時提供精彩時刻剪輯動畫、雙方進(jìn)攻防守統(tǒng)計、足球運動熱力圖等多種信息；并于賽后為自動寫作機(jī)器人Xiaoming Bot提供圖像素材，豐富文章內(nèi)容。

目標(biāo)檢測

軌跡跟蹤

生成鳥瞰視角

捕捉精彩瞬間

相關(guān)技術(shù)：

檢測&語義分割：基于SSD的目標(biāo)檢測，逐幀輸出球員和足球的位置；基于DeepSORT的多目標(biāo)跟蹤，使用Kalman Filter對球員和足球的運動進(jìn)行建模使用度量學(xué)習(xí)對球員外觀建模。

相機(jī)估計&語義分割：檢測球場上的關(guān)鍵點，計算單應(yīng)性變換參數(shù)，以此來估計相機(jī)的拍攝角度。

號碼識別&球員聚類：使用半監(jiān)督的空間變換網(wǎng)絡(luò)（STN）在檢測框內(nèi)提取號碼區(qū)域進(jìn)行識別。

精彩時刻檢測：對固定劃窗內(nèi)的片段進(jìn)行分類，包含射門、任意球、角球、受傷等多種類別。

統(tǒng)計分析：基于上述多種結(jié)構(gòu)化信息，輸出多種統(tǒng)計指標(biāo)，包括雙方控球率、足球運動熱力圖及控球區(qū)域分布等。

相比于人類作者，小明的效率和產(chǎn)量高，2秒就能成稿，每場比賽賽后發(fā)稿，2年內(nèi)生成12萬粉絲和10億閱讀。過去頭條平臺上許多體育播報是由小明寫的，他每天讀很多內(nèi)容，綜合網(wǎng)上文字描述理解和圖片例子和視頻理解能夠自動生成一個內(nèi)容，分發(fā)給對某一類信息感興趣的讀者。

xiaomingbot寫作機(jī)器人也因此獲得了吳文俊人工智能科學(xué)技術(shù)獎。

BRITS：BidirectionalRecurrent Imputation for Time Series

NIPS 2018

項目介紹：

時間序列在許多分類、回歸任務(wù)中被廣泛用作信號。時間序列中存在許多缺失值，這是普遍存在的。給定多個相關(guān)時間序列數(shù)據(jù)時，該如何填補(bǔ)缺失值并預(yù)測其類標(biāo)簽呢？現(xiàn)有的歸一化方法往往對潛在的數(shù)據(jù)生成過程有很強(qiáng)的假設(shè)，比如狀態(tài)空間中的線性動力學(xué)。

本文提出了一種新的基于遞歸神經(jīng)網(wǎng)絡(luò)的時間序列數(shù)據(jù)缺失值估計方法，BRITS算法。該方法直接學(xué)習(xí)雙向遞歸動力系統(tǒng)的缺失值，沒有任何具體的假設(shè)。將賦值作為RNN圖的變量，在反向傳播過程中可以有效地進(jìn)行更新。

算法優(yōu)勢：

(a)可以處理時間序列中多個相關(guān)缺失值；

(b)推廣到具有非線性動力學(xué)的時間序列；

(c)提供數(shù)據(jù)驅(qū)動的估算程序，適用于缺少數(shù)據(jù)的一般設(shè)置。

實驗結(jié)果：

在三個真實世界數(shù)據(jù)集上評估BRITS模型，包括空氣質(zhì)量數(shù)據(jù)集，醫(yī)療保健數(shù)據(jù)和人類活動的本地化數(shù)據(jù)。實驗表明，該模型在插補(bǔ)和分類/回歸精度方面都優(yōu)于最先進(jìn)的方法。

Reinforced Co-Training

NAACL 2018

項目介紹：

Co-Training是一種流行的半監(jiān)督學(xué)習(xí)框架，除了少量標(biāo)記數(shù)據(jù)外，使用大量的未標(biāo)記數(shù)據(jù)。Co-Training方法利用未標(biāo)記數(shù)據(jù)上的預(yù)測標(biāo)簽，并基于預(yù)測置信度選擇樣本來進(jìn)行增強(qiáng)訓(xùn)練。

然而，在現(xiàn)有的協(xié)同訓(xùn)練方法中，樣本的選擇是基于一種預(yù)先確定的策略，這種策略忽略了未標(biāo)記子集和標(biāo)記子集之間的抽樣偏差，并且無法挖掘數(shù)據(jù)空間。

本文提出了一種新的方法——強(qiáng)化Co-Training，來選擇高質(zhì)量的未標(biāo)記樣本，以便更好地進(jìn)行Co-Training。更具體地說，該方法使用Q-learning學(xué)習(xí)一個帶有小標(biāo)記數(shù)據(jù)集的數(shù)據(jù)選擇策略，然后利用這個策略自動訓(xùn)練聯(lián)合訓(xùn)練分類器。

實驗結(jié)果：

實驗結(jié)果表明，本文提出的方法能夠獲得更準(zhǔn)確的文本分類結(jié)果。

獨木難成林，AI Lab需產(chǎn)學(xué)研結(jié)合

AI Lab與高校合作

珠穆朗瑪計劃：征集來自計算機(jī)科學(xué)領(lǐng)域的相關(guān)研究提案，為學(xué)者的技術(shù)研究提供數(shù)據(jù)、資金等多維度支持。

校企協(xié)同，教學(xué)人員雙向流動：一線工程師赴校宣講授課，舉辦AI競賽開放海量數(shù)據(jù)，頭條青年訪問學(xué)者。

AI Lab與學(xué)術(shù)機(jī)構(gòu)合作

2018 Byte Cup：

2018 Byte Cup國際機(jī)器學(xué)習(xí)競賽是一項面向全球的機(jī)器學(xué)習(xí)競賽，旨在促進(jìn)機(jī)器學(xué)習(xí)的學(xué)術(shù)研究和具體應(yīng)用。Byte Cup 2018的主題是自動生成文本標(biāo)題。

AI Lab與產(chǎn)業(yè)合作

字節(jié)跳動人工智能實驗室不僅與高校與學(xué)術(shù)機(jī)構(gòu)有合作，還與產(chǎn)業(yè)界有著密切的合作。

2018年人工智能與實體經(jīng)濟(jì)深度融合創(chuàng)新項目公示，字節(jié)跳動申報的“基于分布式機(jī)器學(xué)習(xí)平臺的通用人工智能應(yīng)用解決方案項目”入選；

“面向移動端的低功耗超時AR-VR開放平臺項目”入選2018雙創(chuàng)周“顛覆性創(chuàng)新榜”TOP10；

北京市市長陳寧領(lǐng)銜，北京市科委牽頭，集首都高校、科技專家及領(lǐng)軍科技企業(yè)智囊之力，為提高北京市新一代人工智能科技創(chuàng)新能力而集中建設(shè)的“北京智源研究院”，字節(jié)跳動為智能研究院發(fā)起成立單位之一，字節(jié)跳動技術(shù)戰(zhàn)略研究院院長張宏江出任研究院理事長。