自 2009 年擔(dān)任斯坦福人工智能實(shí)驗(yàn)室和視覺(jué)實(shí)驗(yàn)室的負(fù)責(zé)人，李飛飛在推動(dòng)計(jì)算機(jī)視覺(jué)方面研究的同時(shí)，還密切關(guān)注 AI 醫(yī)療的發(fā)展。昨日，李飛飛離任斯坦福 AI 實(shí)驗(yàn)室負(fù)責(zé)人一職，Chris Manning 接任，并推出了全新的斯坦福 AI 技術(shù)博客。近日，斯坦福 AI 實(shí)驗(yàn)室博客更新，介紹了基于視覺(jué)的智能醫(yī)院，將 AI 用于改善醫(yī)療衛(wèi)生狀況。博客作者 Albert Haque 和 Michelle Guo 均為李飛飛的學(xué)生。

每年，死于醫(yī)院內(nèi)感染的人數(shù)比車禍還要多。這意味著去醫(yī)院就醫(yī)比不去醫(yī)院病情加重的概率要高 1/30。

這當(dāng)然是極端情況，但醫(yī)院可以通過(guò)創(chuàng)造更好的衛(wèi)生條件輕松改善這種狀況。眾所周知，無(wú)論是在醫(yī)院還是機(jī)場(chǎng)、飯店等公共場(chǎng)所，手部衛(wèi)生是阻止傳染病傳播的第一道防線，因此，這點(diǎn)不容忽視。檢查手是否洗干凈需要自動(dòng)檢驗(yàn)技術(shù)的幫助。解決這一問(wèn)題最簡(jiǎn)單的方法可能是利用最普通的人類策略——利用計(jì)算機(jī)視覺(jué)來(lái)確認(rèn)大家有沒(méi)有洗手。

開(kāi)發(fā)這樣一種技術(shù)解決方案是斯坦福 Partnership in AI-Assisted Care（PAC）項(xiàng)目及其世界各地的合作者多年以來(lái)的努力方向。盡管還有很多的工作要做，但我們希望該技術(shù)可以幫助醫(yī)院降低感染率，改善患者的健康狀況。

為什么要借助視覺(jué)？

目前，醫(yī)院通過(guò)醫(yī)學(xué)院課程、公告牌上的宣傳材料、員工周會(huì)等教育手段來(lái)強(qiáng)化手部衛(wèi)生意識(shí)。世界衛(wèi)生組織（WHO）甚至提出了手部衛(wèi)生的「五大時(shí)刻」（Five Moments），詳細(xì)規(guī)定了醫(yī)務(wù)工作者應(yīng)該洗手的時(shí)間點(diǎn)。為了檢查醫(yī)務(wù)人員是否遵守規(guī)定，醫(yī)院讓員工佩戴 RFID 卡或標(biāo)識(shí)來(lái)追蹤他們的手部衛(wèi)生狀況。這種方法有一定效果，但對(duì)工作流程造成的干擾也時(shí)有發(fā)生，如人沖進(jìn)一間新的房間時(shí)皂液器會(huì)刷到 RFID 卡產(chǎn)生響應(yīng)。這主要是由技術(shù)原因造成的：一般 RFID 卡通訊距離較短，而長(zhǎng)距離的「活躍」RFID 卡受自身定向天線的控制，且需要電池。顯然，我們需要一種可以克服 RFID 技術(shù)局限的新型解決方案。

計(jì)算機(jī)視覺(jué)與醫(yī)院

斯坦福 AI 實(shí)驗(yàn)室與斯坦福大學(xué)露西爾帕卡德兒童醫(yī)院（Lucile Packard Children』s Hospital）合作，共同開(kāi)發(fā)了一種新的手部衛(wèi)生追蹤高級(jí)方法。該方法采用最前沿的計(jì)算機(jī)視覺(jué)技術(shù)，不需要臨床醫(yī)生改變他們的日常習(xí)慣。計(jì)算機(jī)視覺(jué)已經(jīng)應(yīng)用于醫(yī)學(xué)成像，但在物理醫(yī)院空間中還沒(méi)有得到充分利用。所幸計(jì)算機(jī)視覺(jué)在另一個(gè)問(wèn)題中已經(jīng)用在物理空間中：自動(dòng)駕駛汽車。自動(dòng)駕駛汽車?yán)么罅?a href="http://www.www27dydycom.cn/v/tag/117/" target="_blank">傳感器來(lái)了解周圍環(huán)境。那么，我們能將其中一些傳感器用在醫(yī)院里以更好地了解醫(yī)院的衛(wèi)生狀況嗎？

深度傳感器

深度傳感器（如 Xbox Kinects）看起來(lái)很像相機(jī)，但它記錄的是距離而非顏色。在一幅正常的彩色圖像中，每個(gè)像素代表一種顏色。而在深度圖像中，每個(gè)像素代表到現(xiàn)實(shí)世界空間中像素的「距離」，通常是一個(gè)浮點(diǎn)數(shù)，如 1.337 米。

（左）用手機(jī)相機(jī)拍攝的醫(yī)院彩色照片。（右）天花板上的傳感器拍攝的對(duì)應(yīng)深度圖像。顏色越深表示物體距離深度傳感器越近。

觀察以上深度圖像可以發(fā)現(xiàn)，雖然看不清人臉，但你還是能分辨出他們?cè)谧鍪裁?。這么做可以保護(hù)用戶隱私，而隱私在醫(yī)院中非常重要。為了改進(jìn)和驗(yàn)證該技術(shù)，我們?cè)趦杉裔t(yī)院（一家兒童醫(yī)院的心血管科室，一家成人醫(yī)院的 ICU 病房）的天花板上安裝了深度傳感器。

裝在兒童醫(yī)院天花板上的深度傳感器。

把深度傳感器裝在兩家不同的醫(yī)院之后，我們可以利用 3D 計(jì)算機(jī)視覺(jué)工具來(lái)自動(dòng)測(cè)量手部衛(wèi)生活動(dòng)。這需要三個(gè)步驟：

1. 檢測(cè)醫(yī)護(hù)人員。

2. 對(duì)在醫(yī)院內(nèi)走動(dòng)的醫(yī)護(hù)人員進(jìn)行追蹤。

3. 對(duì)他們的手部衛(wèi)生行為進(jìn)行分類。

行人檢測(cè)

繼續(xù)用自動(dòng)駕駛汽車打比方：為了理解環(huán)境，我們首先需要檢測(cè)環(huán)境中的人。盡管有很多種目標(biāo)檢測(cè)方法，但它們大多數(shù)都是為彩色 RGB 圖像開(kāi)發(fā)的。因此，我們選擇一種可在任何類型的圖像上運(yùn)行的方法，該方法利用了該問(wèn)題的兩個(gè)層面：在給定房間圖像中，人只占據(jù)很小的空間，而深度圖像中的人看起來(lái)則像地板背景上醒目的「一坨」。

字典條目（dictionary entry）：每個(gè)字典條目包含一張合成圖像，對(duì)應(yīng)某個(gè)人所處的位置。

檢測(cè)人的一種方法是確定地面的占據(jù)網(wǎng)格，這是一個(gè)二值矩陣，表示一個(gè)人是否占據(jù)地面的某個(gè)特定位置。我們可以創(chuàng)建一個(gè)字典，其在地面的每個(gè)點(diǎn)包含一「坨」。對(duì)于多個(gè)人，我們可以渲染場(chǎng)景中的多「坨」。在測(cè)試期間，我們只需要每一「坨」的圖像，這可以利用前景/背景分離或目標(biāo)分割算法來(lái)實(shí)現(xiàn)。現(xiàn)在，給定一張測(cè)試圖像，我們可以對(duì)該字典執(zhí)行 K 近鄰搜索來(lái)尋找每一「坨」的位置。

手部衛(wèi)生活動(dòng)分類

目前，我們已經(jīng)識(shí)別了單位中所有行人的軌跡（即全局醫(yī)院?jiǎn)挝坏孛嫔系奈恢茫?。最后一步是檢測(cè)手部衛(wèi)生活動(dòng)，并將其和特定軌跡關(guān)聯(lián)起來(lái)。當(dāng)一個(gè)人使用了洗手液時(shí)，手部衛(wèi)生活動(dòng)被定義為正。然后我們將每個(gè)行人的軌跡標(biāo)記為「干凈」或「不干凈」。

在現(xiàn)實(shí)世界中部署傳感器通常受限于安裝過(guò)程。無(wú)論是否有意，建筑和維護(hù)技術(shù)人員都安裝了角度和位置各不相同的傳感器，這意味著我們的模型必須對(duì)這些差異具有魯棒性，從而它可以適用于任何傳感器視點(diǎn)。由于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）通常不是視點(diǎn)不變的，我們可以使用空間變換網(wǎng)絡(luò)（STN）代替。

（左）帶有人物分割的數(shù)據(jù)增強(qiáng)階段。

（右）手部衛(wèi)生活動(dòng)分類器：空間變換網(wǎng)絡(luò)加上密集連接卷積網(wǎng)絡(luò)。

STN 的輸入是任意圖像，輸出是變形圖像。為了幫助模型更快地學(xué)習(xí)，我們還向 STN 提供人物分割（即身體掩模）?？梢允褂媒?jīng)典的前景/背景分離技術(shù)或深度學(xué)習(xí)方法來(lái)提取該身體掩模。STN 將圖像變形成學(xué)習(xí)到的「視點(diǎn)不變」形式。從這個(gè)變形的圖像中，我們使用標(biāo)準(zhǔn) CNN（即，DenseNet）來(lái)執(zhí)行是否有人使用洗手液的二進(jìn)制分類。

該技術(shù)與人類觀察員和 RFID 的對(duì)比結(jié)果

如今，很多醫(yī)院使用 secret shopper 來(lái)衡量手部衛(wèi)生是否合格，訓(xùn)練有素的人會(huì)在醫(yī)院各處巡視，觀察醫(yī)護(hù)人員私下是否洗手。這種 secret shopper 可能是護(hù)士、醫(yī)生，甚至是訪客。我們將這種行為稱之為秘密觀察，與為審核而進(jìn)行的公開(kāi)觀察相反。這種秘密觀察可以最小化霍桑效應(yīng)（即當(dāng)你發(fā)現(xiàn)有人在觀察自己時(shí)，會(huì)刻意改變行為）。如上所述，我們把計(jì)算機(jī)視覺(jué)和多個(gè)站在固定位置的觀察員、在醫(yī)院內(nèi)走動(dòng)的單個(gè)觀察員以及 RFID 標(biāo)簽的使用進(jìn)行了比較。

對(duì)比結(jié)果

RFID 產(chǎn)生了大量的假陽(yáng)性，并且判斷是否合格的準(zhǔn)確率比較低。它正確預(yù)測(cè)干凈或骯臟的概率只有 18%。

觀察員效果比這好得多，準(zhǔn)確率為 63%，而三個(gè)人做得更好，72%。但是，我們的算法甚至超過(guò)了人類觀察員，達(dá)到了 75% 的準(zhǔn)確率。這個(gè)結(jié)果在意料之中，畢竟觀察員的對(duì)手是具有「全局視野」的計(jì)算機(jī)視覺(jué)系統(tǒng)。不過(guò)，既然真實(shí)標(biāo)簽是由人類標(biāo)注的，人類觀察員怎么會(huì)比算法做得還差呢？這是因?yàn)檎鎸?shí)標(biāo)簽是被遠(yuǎn)程標(biāo)注而非實(shí)時(shí)標(biāo)注的。遠(yuǎn)程標(biāo)注者可以訪問(wèn)所有的傳感器，并及時(shí)向前或向后播放視頻以確保其標(biāo)注是準(zhǔn)確的。而在現(xiàn)場(chǎng)的觀察員不能「訪問(wèn)」所有傳感器，也無(wú)法及時(shí)回放事件來(lái)確定自己的觀察是否準(zhǔn)確。

不同時(shí)段的手部衛(wèi)生檢測(cè)。藍(lán)色方塊表示有人使用了手部衛(wèi)生分配器。深藍(lán)色表示更多同時(shí)發(fā)生的事件。底部顯示了真實(shí)標(biāo)簽。一般來(lái)說(shuō)，空白越多表示結(jié)果越差。

拋開(kāi)數(shù)字不說(shuō)，一個(gè)更有趣的結(jié)果是視覺(jué)效果。上圖顯示了現(xiàn)場(chǎng)觀察員檢測(cè)手部衛(wèi)生活動(dòng)的頻率之低。注意到所有的空白部分了嗎？如果你仔細(xì)觀察真實(shí)標(biāo)簽?zāi)且恍?，你?huì)發(fā)現(xiàn)幾乎沒(méi)有空白。這意味著人類觀察員錯(cuò)過(guò)了很多手部衛(wèi)生活動(dòng)。這通常是由觀察員的注意力分散造成的：他們可能打瞌睡了，也可能在看區(qū)域內(nèi)的無(wú)關(guān)活動(dòng)，或者就只是沒(méi)有看到手部衛(wèi)生活動(dòng)的進(jìn)行。

走在重癥監(jiān)護(hù)病房的人的時(shí)空熱圖。黃色/紅色表示該區(qū)域內(nèi)有更多人站立/行走。

我們得出一個(gè)最終的可視化圖。上面的動(dòng)畫(huà)顯示了醫(yī)院內(nèi)的俯視圖。因?yàn)槲覀兛梢宰粉櫿麄€(gè)醫(yī)院里的人，所以我們幾乎一直都知道他們的特定（x，y，z）位置。我們繪制了每個(gè)點(diǎn)，并隨著時(shí)間的推移創(chuàng)建了熱圖。這種類型的空間分析可用于識(shí)別交通模式并可能追蹤疾病的傳播。始終為黃色/紅色的區(qū)域表示擁擠的空間。這些空間通常位于走廊交叉點(diǎn)或緊鄰病房外。如果你仔細(xì)觀察，就會(huì)發(fā)現(xiàn)我們的固定觀察員是紅色的。

未來(lái)方向

我們已經(jīng)展示了如何使用計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)來(lái)自動(dòng)監(jiān)控醫(yī)院的手部衛(wèi)生活動(dòng)。在 AI-Assisted Care 的斯坦福合作項(xiàng)目中，手部衛(wèi)生只是醫(yī)療保健中應(yīng)用計(jì)算機(jī)視覺(jué)的一個(gè)案例。我們還在開(kāi)發(fā)計(jì)算機(jī)視覺(jué)系統(tǒng)，以監(jiān)測(cè)患者的活動(dòng)水平，分析外科手術(shù)的質(zhì)量，并檢查老年人生活中的異常情況。我們希望這項(xiàng)工作能夠向世人展示人工智能輔助醫(yī)療的潛力和影響。