在計算機(jī)視覺領(lǐng)域，深度學(xué)習(xí)方法已全方位在各個方向獲得突破，這從近幾年CVPR 的論文即可看出。

但這往往需要大量的標(biāo)注數(shù)據(jù)，比如最著明的ImageNet數(shù)據(jù)集，人工標(biāo)注了100多萬幅圖像，盡管只是每幅圖像打個標(biāo)簽，但也耗費了大量的人力物力。

說到標(biāo)注這件事，打個標(biāo)簽其實還好，如果是針對圖像分割任務(wù)，要對圖像進(jìn)行像素級標(biāo)注，那標(biāo)注的成本就太高了。跟專業(yè)的標(biāo)注公司打過交道的朋友都知道，打標(biāo)簽、標(biāo)關(guān)鍵點和標(biāo)像素區(qū)域，所要付出的成本可大不同。

在醫(yī)學(xué)影像領(lǐng)域，圖像數(shù)據(jù)往往難以獲取，而這又是一個對標(biāo)注精度要求極高的領(lǐng)域。

最近幾年，以GAN為代表的生成模型經(jīng)常見諸報端，那能否用GAN破解標(biāo)注數(shù)據(jù)不足的問題呢？

最近發(fā)現(xiàn)一篇論文Generating large labeled data sets for laparoscopic image processing tasks using unpaired image-to-image translation，來自德國國家腫瘤疾病中心等單位的幾位作者，提出通過GAN對計算機(jī)合成的人體腹腔鏡圖像進(jìn)行轉(zhuǎn)換的方法，能夠大批量得到與真實圖像相似的合成圖像，并在器官分割實驗中，大大改進(jìn)了真實圖像的分割精度。非常值得一讀。

下面是作者信息：

下圖即為作者用計算機(jī)圖形學(xué)方法合成的腹腔鏡圖像（A，下圖第一列），和轉(zhuǎn)換后的具有真實感的合成圖像（Bsyn，下圖第二列和第三列）。

CV君不是專業(yè)的醫(yī)務(wù)人員，不過也可以看出轉(zhuǎn)換后的圖像的確比之前更具真實感。

方法介紹

作者使用Nvidia發(fā)布的MUNIT庫進(jìn)行圖像轉(zhuǎn)換，并進(jìn)行了改進(jìn)。

這是一個非成對數(shù)據(jù)的圖像轉(zhuǎn)換問題，作者使用一種循環(huán)loss，將A 域（模擬圖）和B域（少部分真實圖）進(jìn)行循環(huán)的編碼、生成、鑒別。

因為A 域內(nèi)圖像是計算機(jī)模擬出來的，所以天然的帶有像素級標(biāo)簽。

作者的改進(jìn)之處在于添加了MS-SSIM loss （Multi-Scale Structural Similarity，多尺度結(jié)構(gòu)相似性損失函數(shù)），保證轉(zhuǎn)換后圖像結(jié)構(gòu)相同。

另外，作者對編碼器加入隨機(jī)噪聲，防止生成的紋理都完全相同。

下圖為作者提供的訓(xùn)練數(shù)據(jù)的例子：

請注意，他們含有相似的目標(biāo)，但很顯然內(nèi)容并不是匹配的，這樣的訓(xùn)練數(shù)據(jù)是比較好找到的。

實驗結(jié)果

作者用上述方法生成了10萬幅圖像，并在圖像分割任務(wù)中驗證了，這種合成數(shù)據(jù)對醫(yī)學(xué)圖像分割模型訓(xùn)練的價值。

下圖對各種情況進(jìn)行了分割結(jié)果比較：

Bv是原有真實數(shù)據(jù)，Bsyn是合成數(shù)據(jù)，I代表模型在Imagenet進(jìn)行了預(yù)訓(xùn)練。

可見，使用這種合成數(shù)據(jù)大幅改進(jìn)了分割精度。而在Imagenet數(shù)據(jù)集上預(yù)訓(xùn)練的結(jié)果更好。這種方法對你有什么啟發(fā)？歡迎留言。