NVIDIA致力于通過深度學習推動人工智能的發(fā)展。各行業(yè)的初創(chuàng)企業(yè)可借助 NVIDIA強大的AI計算平臺，探索人工智能帶來的無限可能。

“NVIDIA初創(chuàng)企業(yè)GPU應用大賽” 第一季自今年5月正式啟動以來，得到了“NVIDIA初創(chuàng)加速計劃”各成員企業(yè)的踴躍參與。經(jīng)過NVIDIA專家評審，我們從中遴選出了幾家代表性的GPU應用作為優(yōu)勝獎的獲得者，并將陸續(xù)分享他們的GPU創(chuàng)新應用故事。

高清圖像在交通錄像取證，競技場景細節(jié)還原等環(huán)境下，為專業(yè)人士提供著至關(guān)重要的細節(jié)信息，但在實際應用中，由于制作工藝和成本的考慮，很多場合都不會采用高分辨率、超分辨率的相機來進行圖像信號的采集，因此，將低分辨率的圖片還原成高分辨率圖片就非常重要。

圖像超分辨率（SuperResolution,SR）就是將低分辨率（LowResolution,LR）的圖像通過一定的算法轉(zhuǎn)提升到高分辨率(HighResolution,HR)的技術(shù)。以往傳統(tǒng)的圖像超分辨率技術(shù)在圖像還原方面差強人意，而且需要大量人力進行比對，效率很低。GPU和深度學習的大規(guī)模應用為整個行業(yè)帶來了突破性的發(fā)展。目前，使用GPU來加速圖片超分辨率重建已經(jīng)成為業(yè)界內(nèi)逐漸成熟的技術(shù)方案。

作為NVIDIA初創(chuàng)加速計劃成員，北京飛搜科技有限公司（以下簡稱“飛搜科技”）在計算機視覺領(lǐng)域擁有多項世界領(lǐng)先的研究成果，尤其是在人臉識別、目標追蹤、目標檢測等領(lǐng)域。該公司通過采用NVIDIA Tesla P100對圖像進行大規(guī)模的深度學習訓練，實現(xiàn)了對視頻監(jiān)控圖像中對低質(zhì)量圖片快速重建，且重建出的高清圖像的人眼感官效果也頗佳，遠超傳統(tǒng)超分辨率方法。

傳統(tǒng)圖像超分變率重建效果差強人意

GPU帶來行業(yè)革新

圖像超分辨率領(lǐng)域在早期用傳統(tǒng)方法，僅僅能從圖像表層特征進行推測，從而擴大圖片尺寸和分辨率，在學術(shù)界和評測上一般用PSNR（Peak Singnal-to-Noise Ratil峰值信噪比，此值越大越好）。傳統(tǒng)方法在提高PSNR值上效果顯著，但真正重建之后的圖片，跟人眼日常所見及預期恢復的圖像還有很大差別，會讓人從感官上覺得“不像”。

在上述基礎上，相關(guān)領(lǐng)域研究人員嘗試使用神經(jīng)網(wǎng)絡來進行圖像超分辨率重建，此舉再次提升了 PSNR 的結(jié)果，但是其重建 速度慢，而且對復雜場景，或者存在多層隱藏特征的圖片，重建之后仍然會有跟原本物體不一樣的感覺。

與此同時，通過監(jiān)控來發(fā)現(xiàn)異樣是一個非常耗費人力的工作，而且在發(fā)現(xiàn)異常之后，想要通過放大圖片，對異常部分想要進行更多的了解和分析也會耗費更多精力，利用過去的方法不僅不會提高工作效率，反倒會由于重建結(jié)果不好而耽誤時間。

現(xiàn)在，隨著深度學習以及GPU的大規(guī)模應用，在超分辨率這個問題上能進行更大規(guī)模的訓練，得到的深度學習模型不僅僅有一個更高的PSNR結(jié)果，同時在重建之后的人眼感官效果上也有不錯的表現(xiàn)，能夠貼近現(xiàn)實生活的物體。

目前，使用GPU來加速圖片超分辨率重建已經(jīng)成為業(yè)界內(nèi)逐漸成熟的技術(shù)方案。

GPU深度學習凸顯圖像重建優(yōu)勢

在針對監(jiān)控視頻中不清楚的圖像進行超分辨率重建流程中，首先由監(jiān)控人員發(fā)現(xiàn)視頻中的問題，然后針對視頻序列截幀得到的圖片，選擇出需要高清圖片的這一幀，之后將此圖片傳入深度學習模型，由深度學習模型在GPU上進行特征提取，根據(jù)提取的特征再進行大尺寸高分辨率圖像重建，得到高分辨率圖片后，再由人工觀察高清圖片獲取所需要的信息。

由于深度學習中的卷積神經(jīng)網(wǎng)絡CNN具有良好的特征提取特性，所以飛搜科技的研究團隊在圖像超分辨率中應用CNN來進行特征提取，然后利用轉(zhuǎn)置卷積和隨機通道等方法放大圖像尺寸。

具體而言，首先將待進行放大的圖片尺寸統(tǒng)一，然后將此圖片輸入CNN模型，使用隨機通道排序方法將圖片尺寸擴大。正是由于CNN良好的特征提取能力，使得圖片重建后具有良好的視覺感官效果和PSNR值。

CNN進行超分示意圖，輸入一個尺寸為fxf大小的低質(zhì)量圖片，然后進行n層輸出大小仍然為fxf的卷積運算，同時固定卷積核大小，最后一個卷積層將輸出即將進行隨機通道排序的特征圖。

進行隨機通道重排之后放大圖片的示意圖，每一個特征圖對應一個通道，按照通道的前后順序以及卷積核的大小來對每個特征值在輸出圖片上的位置進行重新排列（上圖中卷積核大小為2x2）

全新圖片超分辨率重建技術(shù)獲得認可

憑借在超分辨率領(lǐng)域的出色表現(xiàn)，飛搜科技研究團隊在2018年計算機視覺頂級會議CVPR（Computer Vision and Pattern Recognition）workshop NTIRE（New Trends in Image Restoration and Enhancement）競賽中獲得優(yōu)異成績。

飛搜科技的解決方案也在諸多領(lǐng)域應用中效果顯著，在對博彩業(yè)視頻圖片進行超分辨率重建的實例中，圖a和圖b（下圖所示）就是進行重建前后的圖片對比?？梢钥吹?，該算法模型在圖片放大后能保留很多細節(jié)信息，比如撲克牌上和籌碼上的數(shù)字，在放大后仍然有較好的視覺感官。

圖a（左）為小尺寸低分辨率圖片，圖b（右）為大尺寸高分辨率圖片

可以說，在NVIDIA Tesla P100系列GPU的大力支持下，隨著深度學習的快速發(fā)展以及其在超分辨率領(lǐng)域的應用，用更多的數(shù)據(jù)訓練更大的模型以實現(xiàn)圖片超分辨率重建成為了現(xiàn)實。不僅訓練速度快，而且訓練完成之后的模型在運行速度上也會比CPU快幾倍到幾十倍，在PSNR指標上也得到了很大的提高，同時更貼近正常生活中的物體線條。

飛搜科技借助Tesla P100實現(xiàn)超分辨率圖像重建只是這一領(lǐng)域應用的冰山一角，未來將會有規(guī)模更大，更具有代表性的數(shù)據(jù)和更好的硬件來進一步提高圖片超分辨率在實際應用中的能力和表現(xiàn)。