深度學(xué)習(xí)技術(shù)近來(lái)在眼科、皮膚科、放射科和病理科等醫(yī)學(xué)學(xué)科領(lǐng)域展現(xiàn)出了極大的應(yīng)用前景，它可以幫助為世界各地的患者提供更加精準(zhǔn)、可用的高質(zhì)量醫(yī)療服務(wù)。

近日在美國(guó)癌癥研究協(xié)會(huì)年會(huì)的一個(gè)演講中，Google通過(guò)一篇題為《增強(qiáng)現(xiàn)實(shí)顯微鏡實(shí)時(shí)自動(dòng)檢測(cè)癌癥(正在審查)》的論文，介紹了一款增強(qiáng)現(xiàn)實(shí)顯微鏡的平臺(tái)原型。該平臺(tái)由一個(gè)經(jīng)過(guò)改良的光學(xué)顯微鏡組成，能夠?qū)D像進(jìn)行實(shí)時(shí)分析并直接在用戶的視野中顯示機(jī)器學(xué)習(xí)算法的分析結(jié)果。

值得一提的是，只需使用低成本的、現(xiàn)成的元器件，就可以將這款增強(qiáng)現(xiàn)實(shí)顯微鏡改造成世界各地醫(yī)院和診所中常見的普通光學(xué)顯微鏡，而且無(wú)需對(duì)數(shù)字系統(tǒng)進(jìn)行全面升級(jí)就能進(jìn)行組織分析。

現(xiàn)代計(jì)算組件和深度學(xué)習(xí)模型——比如在 TensorFlow 平臺(tái)上構(gòu)建的模型，使得這個(gè)增強(qiáng)現(xiàn)實(shí)顯微鏡平臺(tái)能夠運(yùn)行大量的預(yù)訓(xùn)練模型。和使用傳統(tǒng)顯微鏡的方法一樣，用戶通過(guò)目鏡觀察樣品，機(jī)器學(xué)習(xí)算法輸出的結(jié)果將實(shí)時(shí)投射到光路中，疊加在樣本的原始圖像之上，幫助觀察者快速定位和量化感興趣的特征。而且，平臺(tái)的計(jì)算和視覺(jué)反饋非常迅速——目前速度已經(jīng)達(dá)到了 10 幀/秒，這意味著當(dāng)用戶移動(dòng)組織或放大倍數(shù)做進(jìn)一步觀察時(shí)，可以獲得流暢、無(wú)縫的視覺(jué)體驗(yàn)。

左圖：增強(qiáng)現(xiàn)實(shí)顯微鏡的原理概述。一臺(tái)數(shù)碼相機(jī)捕捉到與用戶相同的視場(chǎng)(FoV)，然后將圖像傳送給一個(gè)附加的計(jì)算單元，該單元能夠運(yùn)行實(shí)時(shí)推理的機(jī)器學(xué)習(xí)模型。隨后推理結(jié)果被反饋到一個(gè)定制的 AR 顯示屏，該顯示屏與目鏡內(nèi)聯(lián)，并將模型輸出的結(jié)果與標(biāo)本顯示在同一平面上。右圖：該圖展示了我們的平臺(tái)原型被改造成典型臨床級(jí)光學(xué)顯微鏡后的樣子。

理論上，增強(qiáng)現(xiàn)實(shí)顯微鏡可以提供各式各樣的視覺(jué)反饋，包括文本、箭頭、輪廓、熱圖和動(dòng)畫，而且可以運(yùn)行多種類型的機(jī)器學(xué)習(xí)算法以應(yīng)對(duì)不同的任務(wù)，比如對(duì)象檢測(cè)、量化和分類等。

為了演示增強(qiáng)現(xiàn)實(shí)顯微鏡的功能，我們讓其運(yùn)行兩種不同的癌癥檢測(cè)算法：一種用于檢測(cè)淋巴結(jié)標(biāo)本中的乳腺癌轉(zhuǎn)移，另一種用于檢測(cè)前列腺切除術(shù)標(biāo)本中的前列腺癌。這些算法可以在4-40x 的放大倍數(shù)下運(yùn)行，并用綠色輪廓勾畫出檢測(cè)到腫瘤區(qū)域。這些輪廓可以幫助病理學(xué)家注意到感興趣的區(qū)域，而不至于遺漏外觀模糊的腫瘤細(xì)胞。

注：通過(guò)增強(qiáng)現(xiàn)實(shí)顯微鏡觀察到的視圖。這些圖像展示了 4x、10x、20x 和 40x 放大倍數(shù)下的淋巴結(jié)標(biāo)本。

雖然這兩個(gè)癌癥檢測(cè)模型并非用增強(qiáng)現(xiàn)實(shí)顯微鏡直接捕獲的圖像進(jìn)行訓(xùn)練的，但它們?cè)诤笳呱媳憩F(xiàn)非常出色，無(wú)需額外的訓(xùn)練。我們相信，假如直接用增強(qiáng)現(xiàn)實(shí)顯微鏡獲取的圖像做進(jìn)一步訓(xùn)練，這些算法的表現(xiàn)還將繼續(xù)提升。

最初都是用來(lái)自一種光學(xué)結(jié)構(gòu)完全不同的完整標(biāo)本掃描儀的圖像訓(xùn)練的，但他們?cè)谠鰪?qiáng)現(xiàn)實(shí)顯微鏡平臺(tái)上的表現(xiàn)非常出色，無(wú)需額外的在訓(xùn)練。例如，淋巴結(jié)轉(zhuǎn)移檢測(cè)模型在增強(qiáng)現(xiàn)實(shí)顯微鏡上運(yùn)行時(shí)曲線面積達(dá)到了 0.98，前列腺癌檢測(cè)模型的曲線面積達(dá)到了 0.96，僅略低于 WSI 上得到的結(jié)果。

我們相信，這款增強(qiáng)現(xiàn)實(shí)顯微鏡將給全球衛(wèi)生事業(yè)產(chǎn)生重大影響，尤其是在發(fā)展中國(guó)家的傳染病診斷方面——包括結(jié)核病和瘧疾等。此外，在即將采用數(shù)字病理工作流程的醫(yī)院，增強(qiáng)現(xiàn)實(shí)顯微鏡也可以與數(shù)字工作流程結(jié)合使用。光學(xué)顯微鏡已經(jīng)在很多行業(yè)已經(jīng)證明了其價(jià)值，但在病理學(xué)領(lǐng)域作用有限。我們相信增強(qiáng)現(xiàn)實(shí)顯微鏡可以應(yīng)用于醫(yī)療、生命科學(xué)研究和材料科學(xué)等眾多領(lǐng)域。我們很高興能繼續(xù)探索這款增強(qiáng)現(xiàn)實(shí)顯微鏡，幫助加速機(jī)器學(xué)習(xí)技術(shù)在世界各地產(chǎn)生積極影響。