作為 AI 界的領(lǐng)軍人物，谷歌云人工智能和機(jī)器學(xué)習(xí)首席科學(xué)家李飛飛一直致力于 AI 民主化，希望利用 AI 造福社會。在昨日舉行的清華大學(xué)—谷歌 AI 學(xué)術(shù)研討會上，李飛飛就介紹了自己在“AI + 醫(yī)療”領(lǐng)域的最新前沿工作。

和機(jī)器閱片等常見的 AI 醫(yī)療應(yīng)用不同，李飛飛希望通過計算機(jī)視覺技術(shù)分析醫(yī)務(wù)人員的行為，然后給出反饋，幫助他們?yōu)椴』继峁└哔|(zhì)量的醫(yī)療服務(wù)，當(dāng)然這里面目前還存在諸多的困難和挑戰(zhàn)。

李飛飛表示，這項研究的第一個落地應(yīng)用就是監(jiān)督醫(yī)護(hù)人員清洗雙手，這是為什么？

以下為演講實錄：

感謝清華大學(xué)的邀請！作為谷歌AI中國的團(tuán)隊，我們也很榮幸有機(jī)會在今、明兩天與大家共同探討基礎(chǔ)科學(xué)的學(xué)術(shù)話題。

今天我給大家分享的實際上是最近五六年以來一次比較新的探索，雖然大家知道我做的很多研究很多都是計算機(jī)領(lǐng)域機(jī)器學(xué)習(xí)的基礎(chǔ)科學(xué)，但是在應(yīng)用方面，我們一直堅信“以人為本”的AI，需要對人類的福祉有所幫助。我個人最重視的一個應(yīng)用領(lǐng)域是醫(yī)療健康領(lǐng)域，所以，此次講座我將給大家分享一下，最近兩年我們在醫(yī)療健康領(lǐng)域的一些探索，還希望聽取大家的意見。

這次演講的主題是 Illuminating the Dark Space: Towards Ambient Intelligence in AI-assisted Healthcare。

在開始之前，我想向眾多的合作方、學(xué)生、博士后，特別是在過去的五六年時間里，與我們在 AI 和醫(yī)療健康領(lǐng)域一起工作的臨床醫(yī)生表示感謝。除了以上與我列舉的這部分人員合作之外，我們還與世界各地的醫(yī)院合作，包括斯坦福大學(xué)Lucile Packard兒童醫(yī)院以及斯坦福大學(xué)醫(yī)學(xué)院。此外，我們還與猶他州山間麥凱迪醫(yī)院、舊金山Unlock高級中心合作。剛剛，我們還與上海交通大學(xué)以及瑞金醫(yī)院開展了一項令人興奮的研究合作。

▌何為Ambient Intelligence？

在中國和美國，醫(yī)療健康都是最受關(guān)注的問題。不斷提高的成本，是全球醫(yī)療健康的主要問題之一。雖然醫(yī)療成本不斷上漲，但質(zhì)量并不見得會一定提高。那我們又該如何提高醫(yī)療質(zhì)量呢？削減成本是目前主要的研究和提高的方向。但幸運的是，在過去的十年里，推進(jìn)醫(yī)療方面的工作已取得了很大的成就。我們已經(jīng)看到藥物和疫苗上的改進(jìn)。我們看到了醫(yī)療影像的改進(jìn)，醫(yī)療設(shè)備等方面巨大的進(jìn)步。正如我的同事 Jeff Dean 在上午的分享中提到的那樣，大數(shù)據(jù)和人工智能正推動醫(yī)療健康特別是診斷方面的進(jìn)一步發(fā)展。此外，精密醫(yī)學(xué)、藥物發(fā)現(xiàn)相關(guān)的治療選擇，正基于機(jī)器學(xué)習(xí)、人工智能取得了新的進(jìn)展。

但是，在過去幾年里我關(guān)注的醫(yī)療健康領(lǐng)域里，有一個往往被多數(shù)人忽略的領(lǐng)域，即醫(yī)療健康服務(wù)的物理空間。如果你考慮到了“醫(yī)療”這個詞，那么“療”這個詞則非常重要。因為，物理空間指的是臨床醫(yī)生、護(hù)士、醫(yī)生為治療病人的地方。我們需要在一定的物理環(huán)境下通過與患者的互動來提升醫(yī)療服務(wù)的水準(zhǔn)。

因此，在這段時間里我們在斯坦福大學(xué)研究的方向是，賦予醫(yī)療物理空間“Ambient Intelligence”的屬性。讓我先來定義下“Ambient Intelligence”的概念。需要說明的是，我們并非第一個想到這個概念，而這個概念也并非特屬于醫(yī)療領(lǐng)域。因此，一個可接受的定義是：未來將是一個環(huán)境滿足需求的世界，多數(shù)情況下我們無需思考，智能也會縈繞空間，就像這個房間里的燈光。你感受不到科技的存在，但它就在那里，幫助我們更好地做一些事情。這就是我們所說的“Ambient Intelligence”。

那么，為什么我們需要變得智能？為什么我們需要提高醫(yī)療健康的服務(wù)質(zhì)量？這是因為，執(zhí)行和操作是臨床醫(yī)生在醫(yī)療服務(wù)中的一大痛點。在醫(yī)療領(lǐng)域，我們通過數(shù)百年知識的積累，需要在各種程序中完成預(yù)期的操作，而實際上，符合預(yù)期的操作并不總是發(fā)生。當(dāng)出現(xiàn)小毛病、疏忽或錯誤時，就會涉及醫(yī)療成本。而這種成本，往往關(guān)乎人類的生命。

事實上，如果與一年內(nèi)車禍死亡的人數(shù)相比的話，醫(yī)療事故引發(fā)的死亡人數(shù)遠(yuǎn)遠(yuǎn)高于前者。所以，這對我們而言是一個非常重要的問題。如果 AI 可以用來幫助解決這個問題，那么這會是一個以人為本的應(yīng)用。在美國，國家醫(yī)學(xué)研究所每隔幾年就會針對醫(yī)療服務(wù)中出現(xiàn)的人為錯誤進(jìn)行深度研究。這是我們思考的起點。

為什么臨床醫(yī)生會在醫(yī)療中犯錯誤呢？這一切都是靠人的主觀意識完成的。在一個高度復(fù)雜的環(huán)境下，治療到什么樣的程度也是非常復(fù)雜，中間有很多步驟和程序，也有很多的不確定性和不可預(yù)測性。

而且，錯誤或疏忽等都會導(dǎo)致這些問題的發(fā)生。所以，當(dāng)潛在的錯誤都可以預(yù)測時， 便意味著以上醫(yī)療問題都能得以解決。例如，病人可能會從床上掉下來，就需要通過行為活動傳感器以檢查患者是否墜落。再或者檢查是否需要進(jìn)行手部衛(wèi)生的處理，與之相關(guān)的傳感器就被發(fā)明出來，試圖解決這個問題。此外，還有許多不同類型的本地化解決方案試圖縮小醫(yī)療健康質(zhì)量與服務(wù)之間的差距。

這關(guān)鍵就在于高度本地化。 每當(dāng)出現(xiàn)一個錯誤或潛在的缺陷，就需要一個新的解決方案，且不具備可擴(kuò)展性。這些本地化解決方案有很多不同的情景無法預(yù)測、監(jiān)控。

那么我們能做些什么呢？

有另一種方式可以考慮改善醫(yī)療健康的質(zhì)量。大概五年前，我和斯坦福的同事們就開始跟進(jìn)一種新的技術(shù)浪潮——自動駕駛技術(shù)，而這種新技術(shù)似乎與醫(yī)療健康毫無關(guān)系。但事實上，它們是高度相關(guān)的。

先來看看自動駕駛汽車是如何工作的。

這是一款配備了智能傳感器的汽車，它能夠感知從行人，到汽車、物體、路標(biāo)等的道路環(huán)境。而且，一旦它能感知環(huán)境，就會將信息輸入到后臺，你就能利用機(jī)器學(xué)習(xí)算法做出決定和預(yù)測，輔助汽車駕駛。所以，我們受到這種思維以及“Ambient Intelligence”概念的啟發(fā)，想要將 AI 注入到醫(yī)療服務(wù)的物理空間中，以便我們能夠協(xié)助執(zhí)行預(yù)期的步驟。

這是一個醫(yī)院單元的示意圖：由許多傳感器覆蓋，可以觀察不同的醫(yī)療服務(wù)情況。首先，我們需要通過傳感器的性能來改造物理空間，如果是一家（設(shè)備）傳統(tǒng)的醫(yī)院，它可能就沒有現(xiàn)代化的傳感器以幫助收集并將這些潛在的信息傳遞給算法。接下來，一旦我們收集了數(shù)據(jù)，我們需要辨認(rèn)出在這個環(huán)境里的活動，無論是手術(shù)室、病人康復(fù)室，還是在養(yǎng)老院里。

而辨認(rèn)出該醫(yī)療活動的關(guān)鍵因素在于對人類活動的理解進(jìn)行可視化?，F(xiàn)在，如果你來自計算機(jī)視覺領(lǐng)域，那么你可以將醫(yī)療應(yīng)用與計算機(jī)視覺的基礎(chǔ)科學(xué)聯(lián)系起來。事實上，多年以來，理解人類活動一直是計算機(jī)視覺的核心問題。所以，我將展示一些可以幫醫(yī)療服務(wù)環(huán)境提升的基礎(chǔ)科學(xué)研究。最終我們希望整個醫(yī)療數(shù)據(jù)可以整合到整個醫(yī)療生態(tài)體系中。

▌讓AI注入醫(yī)療服務(wù)的每一環(huán)節(jié)

接下來的演講中，通過展示我們最近的一些工作，我將分享到以下三個研究方向：感知、人類活動識別，以及醫(yī)療生態(tài)體系。

1、感知

首先是感知，即將傳感器集成到物理空間，并構(gòu)建一個數(shù)據(jù)基礎(chǔ)架構(gòu)的過程。我們最近在《新英格蘭醫(yī)學(xué)雜志》上發(fā)表了一篇評論文，討論了我們在試點中所做的工作。

我想問在座的各位：在醫(yī)療服務(wù)環(huán)境中，基于“Ambient Intelligence”的感應(yīng)系統(tǒng)最重要的部分是什么？

一是隱私，這是非常重要的。患者需要隱私，臨床醫(yī)生也需要隱私。

二是通過空間進(jìn)行感知。剛才提到的本地化解決方案，其部分問題是因為太過于本地化了，很難在空間上擴(kuò)展。

三是根據(jù)時間進(jìn)行感知。如果人類來觀測活動，他們往往會感到厭倦。

所以，我們想利用機(jī)器并且將其變得可擴(kuò)展。在過去的數(shù)十年里，現(xiàn)代傳感器已經(jīng)有了很大的發(fā)展。那些曾經(jīng)玩過 Xbox 視頻游戲的玩家，應(yīng)該都知道深度傳感器，它可以用來保護(hù)隱私。

如何通過深度傳感器收集人類活動的數(shù)據(jù)？

在我們的兩所試點醫(yī)院（猶他州兒童醫(yī)院和承認(rèn)重癥監(jiān)護(hù)病房）中，我們進(jìn)行了深度傳感器的試用。（圖片上）能看到橙色的圓點就是深度傳感器，它們被安裝在醫(yī)院的病房中。例如，在兒童醫(yī)院，我們安裝了將近30個不同的傳感器，目的就是為了通過傳感器獲取更多的數(shù)據(jù)以理解人類的行為。

還有一種傳感器，它與前者相互補(bǔ)，主要作用于生理信息，即熱傳感器。通過深度傳感器可以看到病人輪廓；而通過熱傳感器收集信息，你不僅可以看到病人的輪廓，你實際上還能看到其他關(guān)鍵的物體，如氧氣管。這對病人而言是非常重要的。所以，在我們的試點研究中，我們同樣也會用到熱傳感器。

實際上，我們正在與舊金山的一所養(yǎng)老院合作，在養(yǎng)老院里安裝了熱傳感器和深度傳感器，以幫助醫(yī)生監(jiān)測老人的行為，幫助他們獨立生活。

其實，將傳感器投放在醫(yī)療環(huán)境中，數(shù)據(jù)基礎(chǔ)架構(gòu)的建設(shè)就已經(jīng)面臨著巨大挑戰(zhàn)。例如，持續(xù)的數(shù)據(jù)源就意味著大量數(shù)據(jù)的涌入。如果我們使用傳感器的原始分辨率，就會出現(xiàn)需要處理海量數(shù)據(jù)的問題。因此，我們進(jìn)行了一些自適應(yīng)抽樣以減少要處理的數(shù)據(jù)。

這些都是我們必須面臨著的技術(shù)挑戰(zhàn)。但我們依然保持著：對人類行為識別的計算機(jī)視覺研究的專注，也希望應(yīng)對醫(yī)療環(huán)境下的種種挑戰(zhàn)，為計算機(jī)視覺的基礎(chǔ)科學(xué)研究做出貢獻(xiàn)。

2、人類活動識別

視覺智能，指的是在動態(tài)物理世界中發(fā)生的過程。談到動態(tài)這個概念，有很多的信息、事物轉(zhuǎn)瞬即逝。這意味著：我們有時會處理之前從未見過的情況。例如，在醫(yī)療環(huán)境這種復(fù)雜的情況下，這名患者在地板上睡了會兒，在床上又睡了會兒。這并非是我們通常利用數(shù)據(jù)進(jìn)行訓(xùn)練的場景。所以，這種問題有待解決。

在醫(yī)療場景中，我們還要處理物理空間的限制問題。比如一般計算機(jī)視覺處理的都是類似 YouTube 用戶上傳的視頻，但是醫(yī)院的空間有限，因此傳感器的裝設(shè)位置也受到限制，拍攝到的都是各種角度的畫面，非常具有挑戰(zhàn)性。同樣重要的是，我們還會面臨計算效率的問題，因為我們希望為臨床醫(yī)師提供實時反饋，因此計算效率極為重要。

人類活動識別是目前計算機(jī)視覺領(lǐng)域最受關(guān)注的方向之一，目前也已經(jīng)一些公開的數(shù)據(jù)集，而且也有很多非常不錯的工作。我想介紹的是，我們是如何把我們的工作和醫(yī)療健康應(yīng)用相結(jié)合的。

第一個是發(fā)表在 ECCV 16 上的一篇論文，論述了如何處理不同視野角度的問題，這只是最基礎(chǔ)的。我們用到了很多深度學(xué)習(xí)結(jié)構(gòu)，比如這個用來做圖像分類的 Vanilla CNN 網(wǎng)絡(luò)。

比如，我們希望檢測臨床醫(yī)師在進(jìn)出病人的房間前后是否都有洗手，就需要面臨很多的挑戰(zhàn)。首先，由于我們的傳感器大都安在天花板上，因此畫面的視角和正常的 YouTube 視頻畫面的視角非常不一樣。此外，人是運動的，因此我們安裝了很多傳感器，來對人進(jìn)行追蹤。

我這里簡單介紹下視角問題。我們使用了 Vanilla CNN 網(wǎng)絡(luò)來做分類，唯一的變化就是我們增加了一個轉(zhuǎn)換網(wǎng)絡(luò)（transformer network），來解決訓(xùn)練數(shù)據(jù)的視角問題。然后，為了解決多個傳感器的追蹤問題，我們將不同的個體進(jìn)行 ground projection，然后將整個 3D 空間的投影結(jié)合起來，進(jìn)行聯(lián)合優(yōu)化，以此來追蹤不同的個體。

為什么我們會選擇手部衛(wèi)生作為第一個應(yīng)用案例呢？因為不注意手部衛(wèi)生是病人死亡的重要元兇之一。實際上，因為每年死于醫(yī)院獲得性感染的病人是交通事故致死人數(shù)的三倍。而大多數(shù)的醫(yī)院獲得性感染都是沒有注意手部衛(wèi)生導(dǎo)致的。這是醫(yī)療系統(tǒng)里的一個頑疾，解決這個問題的唯一辦法是派人到醫(yī)院里監(jiān)督醫(yī)生和護(hù)士，督促他們洗手。但是這種方法非常低效，不僅不能做到實施監(jiān)督，也非常耗費時間，而且人也可能會犯錯誤。

因此，通過使用深度學(xué)習(xí)和智能傳感器系統(tǒng)來對醫(yī)務(wù)人員進(jìn)行追蹤，我們?nèi)〉昧朔浅：玫慕Y(jié)果。和人類檢查員相比，我們的方法觀察到與事實更接近。

我們的系統(tǒng)可以追蹤醫(yī)務(wù)人員的行動軌跡，而這些數(shù)據(jù)對醫(yī)療系統(tǒng)來說非常寶貴，不僅僅可以用來追蹤醫(yī)務(wù)人員洗手了沒，還可以用來優(yōu)化工作流程。

結(jié)合智能傳感器和計算機(jī)視覺識別系統(tǒng)，我們在手部衛(wèi)生檢測領(lǐng)域取得了鼓舞人心的結(jié)果。下一步，我們將會把反饋信號實時傳遞到周遭環(huán)境中，以此來督促大家洗手。不過，這還遠(yuǎn)遠(yuǎn)不夠，我們還需要理解各種不同的行為，觀察它們，最終幫助醫(yī)生和護(hù)士優(yōu)化治療和護(hù)理流程，這一點很重要。這就引出了我們的下一項工作：密集多標(biāo)簽活動識別。

比如，在 ICU 里面經(jīng)常會涉及到測血壓、綁止血帶、用醫(yī)用究竟噴霧消毒等等一系列的動作，我們希望最終能夠映射所有的醫(yī)療活動，幫助醫(yī)生和護(hù)士更好地照顧病人。為了做到這一點，僅僅用 CNN 是不夠的，特別是對于靜態(tài)幀分類。我們真正想做的，是將其擴(kuò)展到時域，利用視頻數(shù)據(jù)來識別人類活動。很多人都對此領(lǐng)域做出過相關(guān)貢獻(xiàn)，這里我就不展開了。

但是總的來說，利用視頻來進(jìn)行活動識別的工作仍然很少，大部分工作都是活動分類，比如為潛水視頻打一個單一的標(biāo)簽，或者是活動檢測，為視頻中不同活動分配相應(yīng)的標(biāo)簽。不過，時域理解仍然處在比較初始的水平，比如很多幀都沒有標(biāo)簽，而且大多數(shù)的測試視頻都只有一種或少數(shù)幾種活動類型。在醫(yī)療健康領(lǐng)域，活動要密集的多，因此我們需要識別更多不同種類的活動。

為了解決這個問題，我們開發(fā)了基于 RNN 序列模型的網(wǎng)絡(luò)，使用 multilevel loss 來預(yù)測同時發(fā)生的活動。我們在 MultiHUMOS 數(shù)據(jù)集上進(jìn)行了計算機(jī)視覺基準(zhǔn)測試，與 Vanilla LSTM 或者 Stream CNN 相比，我們的算法在多活動標(biāo)記領(lǐng)域取得了領(lǐng)先的成果。

我們正試著在 InterMountain 醫(yī)院的 ICU 里部署我們的模型，來觀察病人的活動。我們選擇從病人的四種活動開始，比如上床、下床等動作。知曉病人的活動水平，對醫(yī)務(wù)人員提供更好的醫(yī)療服務(wù)至關(guān)重要。

最后，我還想介紹下我們在減少訓(xùn)練數(shù)據(jù)量方面的工作，這在養(yǎng)老院的應(yīng)用中非常有用。人口老齡化是世界性的問題，我們真的需要做一些事情來幫助老人們。

我們和很多老年病患交談過，并確定了十幾種和老年人健康息息相關(guān)的行為。我們希望最終使用計算機(jī)視覺系統(tǒng)來識別他們的行為，幫助患者和醫(yī)生。舉例來說，跌倒對老年人說是一個大問題，它甚至有可能奪走老人的生命。我們正在嘗試解決跌倒檢測的問題，但是在這個領(lǐng)域，我們不可能收集到大量的訓(xùn)練數(shù)據(jù)，因此我們的一個想法是使用自監(jiān)督學(xué)習(xí)系統(tǒng)，比如我們?nèi)ツ臧l(fā)布在 CVPR 上的一項工作。另外，我們還嘗試了遷移學(xué)習(xí)的想法。

3、醫(yī)療生態(tài)系統(tǒng)

最后，融入整個醫(yī)療生態(tài)系統(tǒng)也非常重要。為此，我們與斯坦福大學(xué)的其他小組展開合作，在為醫(yī)院賦能時，我們不僅考慮智能傳感器本身，還與病理學(xué)、放射學(xué)、醫(yī)療文獻(xiàn)、圖片等相結(jié)合。比如，我們和皮膚科醫(yī)生一起研究燒傷患者的圖像分割，又比如，我們也一直在尋找手術(shù)視頻來識別手術(shù)中的活動。

總的來說，這是一個非常新興的研究領(lǐng)域，它使用計算機(jī)視覺和機(jī)器學(xué)習(xí)算法來改善醫(yī)療保健服務(wù)，并幫助醫(yī)生和護(hù)士觀察病人活動，提高護(hù)理質(zhì)量，從挽救更多的生命。從感知到人類活動識別到生態(tài)系統(tǒng)，以及建立大型合作關(guān)系，未來還有許多工作要做。

希望有人能夠?qū)@一領(lǐng)域的研究感興趣。

謝謝大家！