憑一己之力將澳大利亞機(jī)器學(xué)習(xí)研究院拉至全球排名第四；GitHub 1400 多顆 Star、并用于 Top 級(jí)手機(jī)廠商的視覺處理；這就是程序員口中的“CV 大?！?沈春華團(tuán)隊(duì)的“戰(zhàn)績”。

目前，沈春華在澳大利亞阿德萊德大學(xué)擔(dān)任計(jì)算機(jī)科學(xué)教授。這位本科畢業(yè)于南京大學(xué)、后在阿德萊德大學(xué)獲得博士學(xué)位的中國科學(xué)家，其主要研究機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺，而計(jì)算機(jī)視覺的終極目標(biāo)是建立一個(gè)具有人類表現(xiàn)的視覺系統(tǒng)。

2012 年，沈春華獲得澳大利亞研究委員會(huì)的未來學(xué)者稱號(hào)。除教職之外，他還是澳大利亞研究委員會(huì)機(jī)器人視覺卓越中心的科研負(fù)責(zé)人。從阿德萊德大學(xué)網(wǎng)站獲悉，沈春華上月被列為澳大利亞科研終身成就獎(jiǎng)，是工程與計(jì)算機(jī)類獎(jiǎng)項(xiàng)的 5 名獲選人之一（https://specialreports.theaustralian.com.au/1540291/9/）。

計(jì)算機(jī)排名網(wǎng)站 CSRanking 顯示，沈春華是過去 10 年間在計(jì)算機(jī)視覺方向 3 大頂級(jí)會(huì)議發(fā)表論文最多的在澳學(xué)者。他的科研成果和產(chǎn)出是阿德萊德大學(xué)下屬的澳大利亞機(jī)器學(xué)習(xí)研究院 (Australian Institute for Machine Learning，AIML) 能在 CSRanking 上排名世界第 4 的主要原因之一。

鑒于澳大利亞機(jī)器學(xué)習(xí)研究院的國際聲譽(yù)，澳大利亞聯(lián)邦政府最近宣布撥款 2000 萬澳元（合近 1 億人民幣）資助該研究院的科研，同時(shí)他還兼任研究院機(jī)器學(xué)習(xí)理論課題的主任。據(jù) Google Scholar 顯示，他的論文已積累 22000 多引用，個(gè)人 H-index 為 71。

從教至今，他教出過多位優(yōu)秀中國留學(xué)生，他的學(xué)生中目前有 3 位獲得 Google 博士獎(jiǎng)學(xué)金（Google PhD Fellowship）。自 Google 首次頒發(fā)該獎(jiǎng)項(xiàng)至今 12 年間，澳大利亞所有高校一共只有 7 人次在 “機(jī)器感知、語音技術(shù)和計(jì)算機(jī)視覺” 這個(gè)方向上獲得該獎(jiǎng)項(xiàng)，而其中 3 人出自沈春華團(tuán)隊(duì)。

除此之外，還有多位畢業(yè)生入職名企、或在知名大學(xué)擔(dān)任教職， 如悉尼大學(xué)、墨爾本莫納什大學(xué)、新加坡理工大學(xué)等等。

圖 | 沈春華指導(dǎo)的部分博士畢業(yè)生

雖然他不在國內(nèi)，但卻時(shí)不時(shí)有中國程序員，在網(wǎng)上撰文逐句逐段分析他的論文，甚至主動(dòng)翻譯他的論文。同時(shí)，他的論文研究已有不少投入應(yīng)用。

其團(tuán)隊(duì)開發(fā)的開源工具箱 AdelaiDet，曾和全球數(shù)一數(shù)二的手機(jī)廠商合作，部分算法曾經(jīng)用于該公司的旗艦手機(jī)上。該算法可幫助手機(jī)優(yōu)化拍照功能，拍出來的照片更鮮艷，還可幫助相機(jī)更好地實(shí)現(xiàn)特效功能和背景虛幻等功能。

截止目前，AdelaiDet 主要包含以下算法：FCOS、BlendMask、ABCNet、CondInst、SOLO，本文主要介紹前四個(gè)算法。

FCOS：基于 FCN 的逐像素目標(biāo)檢測(cè)算法

FCOS（Fully Convolutional One-Stage Object Detection）的中文翻譯是目標(biāo)檢測(cè)器，是沈春華團(tuán)隊(duì)于 2019 年推出的計(jì)算機(jī)視覺目標(biāo)檢測(cè)算法，并以《FCOS：完全卷積一階段目標(biāo)檢測(cè)》（FCOS: Fully Convolutional One-Stage Object Detection）為題發(fā)表在國際計(jì)算機(jī)視覺大會(huì) 2019 上。

在國內(nèi)某問答社區(qū)上，一位目前在字節(jié)跳動(dòng)擔(dān)任高管、博士畢業(yè)于清華大學(xué)電氣工程系的認(rèn)證用戶表示，這篇論文是“入門檢測(cè)最合適的文章”。

具體來說，F(xiàn)COS 是一種基于全卷積神經(jīng)網(wǎng)絡(luò)的逐像素目標(biāo)檢測(cè)算法，最大亮點(diǎn)是提出了一個(gè)不需要錨框（Anchor Free）的全新的目標(biāo)檢測(cè)算法。FCOS 在性能上接近甚至超過目前很多基于錨框的主流目標(biāo)檢測(cè)算法。

目前大多數(shù)目標(biāo)檢測(cè)模型如 Faster R-CNN、YOLOv3 等都依賴于預(yù)先定義的錨框。相比之下，F(xiàn)COS 不依賴預(yù)先定義的錨框或提議區(qū)域。通過去除預(yù)先定義的錨框，F(xiàn)COS 可完全避免錨框的復(fù)雜運(yùn)算，并能節(jié)省訓(xùn)練過程中的內(nèi)存占用。

更重要的是，F(xiàn)COS 可避免和錨框有關(guān)、且對(duì)最終檢測(cè)結(jié)果敏感的所有超參數(shù)。因此 FCOS 比以往基于錨框的一階段或者二階段目標(biāo)檢測(cè)器要大大簡化。

圖 | FCOS 網(wǎng)絡(luò)結(jié)構(gòu)

從論文中的對(duì)比測(cè)試來看，F(xiàn)COS 的精度已超過老牌經(jīng)典算法 Faster R-CNN。

圖 | FCOS 的精度對(duì)比

如下圖案例所示，F(xiàn)COS 在對(duì)目標(biāo)物體框中、所有的點(diǎn)進(jìn)行目標(biāo)框回歸時(shí)，會(huì)用各個(gè)邊的距離長度來計(jì)算損失，這樣可以為后續(xù)使用 Center-ness 準(zhǔn)備。

圖 | FCOS 用各個(gè)邊的距離長度來計(jì)算損失

目前，在開發(fā)者群體中，F(xiàn)COS 的論文已經(jīng)成為他們眼中的 “沈春華團(tuán)隊(duì)的代表作”。而 BlendMask、CondInst、SOLO 的相關(guān)論文則被媒體稱為 “沈春華團(tuán)隊(duì)的又一力作”。

BlendMask：可提取更準(zhǔn)確的實(shí)例分割特征

BlendMask 的中文意思為實(shí)例分割算法，它來自沈春華團(tuán)隊(duì)的另一篇發(fā)表于 CVPR2020 的論文《BlendMask：自上而下與自下而上相結(jié)合的實(shí)例分割》（BlendMask: Top-Down Meets Bottom-Up for Instance Segmentation）。

BlendMask 提出了一種結(jié)合自上向下和自下向上兩種設(shè)計(jì)策略的實(shí)例分割算法，在精度上超越了另一目標(biāo)檢測(cè)項(xiàng)目 Mask RCNN，速度上快 20%。

經(jīng)測(cè)試發(fā)現(xiàn)，在 COCO 數(shù)據(jù)集上使用 ResNet-50，BlendMask 性能可達(dá) 37.0％的 mAP（平均精度均值，mean average precision），使用 ResNet-101 其性能可達(dá)到 38.4％的 mAP。

BlendMask 可通過更合理的 Blender 模塊，來融合 top-level 和 low-level 的語義信息，從而提取更準(zhǔn)確的實(shí)例分割特征。據(jù)悉，BlendMask 是少有的在 mAP 和推理效率方面均能勝過 Mask R-CNN 的算法之一。

ABCNet：比其他方法最高快 10 倍以上

ABCNet 的全稱為 Adaptive Bezier-Curve Network，中文意思為自適應(yīng)貝塞爾曲線網(wǎng)絡(luò)。近年來，場(chǎng)景文本的檢測(cè)與識(shí)別越來越受重視。

現(xiàn)有方法大致分為兩類：基于字符的方法和基于分段的方法。這些方法的標(biāo)注代價(jià)高昂、框架十分復(fù)雜，因此并不適用于實(shí)時(shí)應(yīng)用程序。

為此，沈春華團(tuán)隊(duì)提出 ABCNet 來解決上述問題。其貢獻(xiàn)主要有三方面：

1、首次提出通過參數(shù)化的貝塞爾曲線（應(yīng)用于二維圖形應(yīng)用程序的數(shù)學(xué)曲線），并自適應(yīng)地?cái)M合任意形狀的文本。

2、設(shè)計(jì)了一種新穎的貝塞爾曲線層，可用于提取任意形狀的文本實(shí)例的精確卷積特征，精度上遠(yuǎn)超此前方法。

3、與邊界框目標(biāo)檢測(cè)方法相比，貝塞爾曲線檢測(cè)引入的計(jì)算開銷可以忽略不計(jì)，兼具高效率和高準(zhǔn)確度兩大優(yōu)勢(shì)。在基準(zhǔn)數(shù)據(jù)集 Total-Text 和 CTW1500 上進(jìn)行的實(shí)驗(yàn)表明，ABCNet 能達(dá)到較高的精度，速度也有顯著提升。其中在 Total-text 上，ABCNet 的實(shí)時(shí)版本比其他方法最高快 10 倍以上。

CondInst：可顯著加快推理速度

CondInst 是一個(gè)用于實(shí)例分割的條件卷積，相關(guān)論文《基于條件卷積的實(shí)例分割》“Conditional Convolutions for Instance Segmentation” 發(fā)表在 ECCV 2020 上。

CondInst 可以完全不依賴 ROI（感興趣的區(qū)域，region of interest）操作。而是采用以實(shí)例為條件的動(dòng)態(tài)卷積達(dá)到分割實(shí)例的效果。

具體來說，它有兩個(gè)優(yōu)點(diǎn)：1、通過全卷積網(wǎng)絡(luò)解決了實(shí)例分割，無需進(jìn)行 ROI 裁剪和特征對(duì)齊等操作。2、由于動(dòng)態(tài)生成的條件卷積的性能大大提高，因此可以顯著加快推理速度。

以上幾個(gè)算法，是沈春華團(tuán)隊(duì) AdelaiDet 開源工具箱中的主要組成部分。該工具箱受到了學(xué)術(shù)界和工業(yè)界的相當(dāng)?shù)年P(guān)注。亞馬遜 AWS 已有意向在其產(chǎn)品中使用工具箱中的目標(biāo)檢測(cè)、實(shí)力分割、文字檢測(cè)識(shí)別等能力。

利好小公司開發(fā)者，不懂算法也能用

一言以蔽之，沈春華團(tuán)隊(duì)的研究工作的主要目的之一，是為了提高開發(fā)者工作質(zhì)量和效率，反映到終端用戶則能用到更好的產(chǎn)品。

以背景自動(dòng)虛化為例，現(xiàn)在幾乎所有手機(jī)都有該功能，背后正是人工智能算法在運(yùn)行。以前文提到的手機(jī)廠商來說，手機(jī)算法對(duì)功耗、速度都有極高要求，因此需要給廠商做個(gè)性化方案。如果說開源算法是一個(gè)基礎(chǔ)款漢堡，個(gè)性化方案就是在此基礎(chǔ)上，加了很多其他菜。

但是該算法并非十全十美，它仍可以追求更高效、更少的計(jì)算量和更高的精度。據(jù)了解，沈春華團(tuán)隊(duì)在深度學(xué)習(xí)模型定點(diǎn)化方面也做了不少工作，這些算法可讓深度學(xué)習(xí)對(duì)嵌入式低功耗設(shè)備更友好。

舉例來說，標(biāo)準(zhǔn)浮點(diǎn)運(yùn)算一般是 16 位或 32 位，它的計(jì)算量比較大，產(chǎn)業(yè)界希望未來能做到一到兩比特，一個(gè)比特只有 0 和 1，兩個(gè)比特可以有四種組合，那么這種計(jì)算就能大大減少運(yùn)算量和功耗，從而適配移動(dòng)端低功耗設(shè)備。

該團(tuán)隊(duì)做的相當(dāng)一部分工作，是希望能解決業(yè)界難題。一些小微公司的開發(fā)者也許并不懂人工智能，那么開發(fā)人工智能算法就會(huì)比較困難。使用類似沈春華團(tuán)隊(duì)開發(fā)的工具箱， 則可大大降低使用門檻。

如今依賴該團(tuán)隊(duì)的工具箱，已經(jīng)有越來越多的程序員受惠其中。在該團(tuán)隊(duì)的 GitHub 開源網(wǎng)址 https://git.io/AdelaiDet 上，已經(jīng)有 1400 顆 Star。

他雖然身在海外，但通過沒有國界的互聯(lián)網(wǎng)，正在以技術(shù)范的方法，幫助不斷增長的中國程序員群體更好地敲代碼。

責(zé)任編輯：xj

原文標(biāo)題：機(jī)器視覺領(lǐng)軍學(xué)者沈春華，獲澳大利亞科研終身成就獎(jiǎng)！新算法獲GitHub 1400多顆Star｜專訪

文章出處：【微信公眾號(hào)：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。