現(xiàn)在科技進(jìn)步很快，新技術(shù)層出不窮，各種各樣的“黑科技”經(jīng)常蹦出來(lái)，我們先來(lái)看看下面這兩個(gè)。

　　在很多的影視劇作品中，我們都曾看到過(guò)這樣的場(chǎng)景：案件調(diào)查人員通過(guò)技術(shù)手段，將攝像頭捕捉的模糊圖像放大，形成更為精細(xì)、清晰的圖像，幫助識(shí)別嫌疑人。然而遺憾的是，現(xiàn)實(shí)中的技術(shù)還遠(yuǎn)達(dá)不到能夠?qū)⒌头直媛蕡D像“收放自如”形成人眼能夠識(shí)別的高清圖像。

　　讓低分辨率圖像精細(xì)化成像

　　但谷歌近日公布的一項(xiàng)研究成果，則可能讓上述那些只存在于影視劇作品中的“神奇”真正成為現(xiàn)實(shí)。谷歌人工智能研究部門(mén)谷歌大腦近日發(fā)布了一篇研究文章，再度展示了人工智能技術(shù)的強(qiáng)大功能，通過(guò)對(duì)深度神經(jīng)網(wǎng)絡(luò)技術(shù)的應(yīng)用，可以將低分辨率的圖像放大成高清晰度、精細(xì)化的人眼可識(shí)別圖像。

　　該項(xiàng)研究具體是通過(guò)兩個(gè)同時(shí)運(yùn)行的神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，一個(gè)被稱(chēng)為“條件網(wǎng)絡(luò)”，另一個(gè)被稱(chēng)為“優(yōu)先網(wǎng)絡(luò)”。“條件網(wǎng)絡(luò)”通過(guò)對(duì)低分辨率的圖像和相似的高分辨率的圖像進(jìn)行比照，并描繪出粗略的框架?！皟?yōu)先網(wǎng)絡(luò)”則用于分析圖像中的像素點(diǎn)，并在低分辨率圖像的基礎(chǔ)上進(jìn)行細(xì)部像素的細(xì)化。簡(jiǎn)單來(lái)說(shuō)，兩者是通過(guò)在宏觀(guān)和微觀(guān)上的結(jié)合，來(lái)實(shí)現(xiàn)最終結(jié)果的最優(yōu)化。

　　在進(jìn)行該項(xiàng)實(shí)驗(yàn)時(shí)，谷歌的研究人員運(yùn)用了包含超過(guò)20萬(wàn)名人頭像的CelebFaces Attributes Dataset數(shù)據(jù)集和超過(guò)300萬(wàn)圖像的“臥室”照片數(shù)據(jù)集，通過(guò)這些大量的數(shù)據(jù)，不斷訓(xùn)練模型，使其結(jié)果不斷優(yōu)化。

　　經(jīng)過(guò)大量數(shù)據(jù)訓(xùn)練后的模型最終能夠?qū)崿F(xiàn)低分辨率圖像的高清精細(xì)化還原，例如在上圖中，將8×8分辨率的圖像輸入后，模型能夠輸出32×32的圖像?？梢钥闯瞿Ｐ屠L制出的較高分辨率的圖像與真實(shí)圖像之間的差異從肉眼來(lái)看已經(jīng)很難分辨，很大程度上實(shí)現(xiàn)了將低分辨率圖像高精細(xì)化的目的。

　　作為實(shí)驗(yàn)效果測(cè)驗(yàn)的一部分，谷歌研究人員還將真實(shí)圖像和模型繪制出的圖像同時(shí)呈現(xiàn)給其他工作人員，讓他們給出哪些是模型繪制圖像，哪些是真實(shí)拍攝的圖像的判斷，測(cè)試結(jié)果是50%的參與者認(rèn)為模型繪制出的圖像已經(jīng)很好地模擬了真實(shí)圖像，以至于難以分辨這兩者。

　　研究人員給出的實(shí)驗(yàn)結(jié)論是，在單獨(dú)使用“條件網(wǎng)絡(luò)”進(jìn)行繪制圖像時(shí)，效果不如在此基礎(chǔ)上同時(shí)運(yùn)用“優(yōu)先網(wǎng)絡(luò)”那么好，“優(yōu)先網(wǎng)絡(luò)”能夠使得“條件網(wǎng)絡(luò)”在無(wú)法準(zhǔn)確預(yù)測(cè)局部細(xì)節(jié)時(shí)，進(jìn)一步優(yōu)化細(xì)節(jié)，產(chǎn)生更為精細(xì)的預(yù)測(cè)結(jié)果。

　　毫無(wú)疑問(wèn)，這項(xiàng)技術(shù)在未來(lái)一定有著非常廣泛的應(yīng)用前景和實(shí)際價(jià)值，但需要指出的是，目前該技術(shù)依然處在非常初期的階段，訓(xùn)練數(shù)據(jù)目前僅限于“人臉”和“臥室”圖像，但這實(shí)際上也是“有監(jiān)督學(xué)習(xí)”的人工智能研究目前普遍所需要面臨的必經(jīng)階段，即任何實(shí)際的人工智能技術(shù)的應(yīng)用，都要基于大量數(shù)據(jù)的訓(xùn)練和模型的不斷優(yōu)化。

　　手機(jī)拍子彈出膛不是夢(mèng)

　　自從去年2月索尼IMX318發(fā)布后，影像巨頭索尼公司已經(jīng)有一年時(shí)間沒(méi)有推出令人眼前一亮的感光元件（CMOS）了。即便去年和國(guó)內(nèi)少數(shù)手機(jī)廠(chǎng)商合作定制了諸如IMX386和IMX398這樣的CMOS，但終究還是原有在售CMOS基礎(chǔ)上的小改款而已。

　　索尼在其日本官網(wǎng)上發(fā)布消息稱(chēng)，它們研發(fā)出全球首款三層堆棧式CMOS。這款CMOS相比原有的堆棧式CMOS增加了DRAM層，大幅提高CMOS的數(shù)據(jù)處理能力，令其可以拍攝最高1000fps的超慢速視頻。那么下面就跟大家介紹一下這款索尼最新的CMOS吧，雖然索尼現(xiàn)在還沒(méi)給它起好名字。

　　首先用一張列表介紹一下這款全新的索尼CMOS基本參數(shù)：

　　索尼全新三層堆棧式CMOS的主要參數(shù)（來(lái)源索尼日本）

　　由于這款新感光元件還在開(kāi)發(fā)期沒(méi)有商用，索尼暫時(shí)沒(méi)有為其正式命名。從規(guī)格上看，這款CMOS的像素值為2120萬(wàn)，最高可以拍攝5520*3840分辨率的圖像。CMOS對(duì)角線(xiàn)長(zhǎng)度7.73mm，尺寸1/2.3英寸，單個(gè)像素面積為1.22μm。支持1/120秒內(nèi)讀取1930萬(wàn)像素圖片并拍攝最高1000fps的超慢速視頻，架構(gòu)為傳統(tǒng)的拜耳陣列。

　　主流索尼Exmor RS堆棧式CMOS的參數(shù)對(duì)比

　　從上面的參數(shù)來(lái)看這款CMOS將主要發(fā)力點(diǎn)放在了高速處理和視頻拍攝上面。從靜態(tài)圖像參數(shù)上講，2120萬(wàn)像素的數(shù)字在索尼自家的Exmor RS CMOS中也屬于比較靠前的位次，1/2.3英寸的CMOS面積同樣位次靠前，可以提供相對(duì)不錯(cuò)的畫(huà)質(zhì)輸出。單位像素1.22μm不及自家一些1.44μm的產(chǎn)品，與HTC的UltraPixel 2μm相比也有不小差距。拜耳陣列是傳統(tǒng)的RGBG結(jié)構(gòu)，與IMX298和IMX398的RGBW架構(gòu)不同，所以綜合來(lái)看在進(jìn)光量上面可能會(huì)吃一些虧。

　　背照式CMOS（左）與堆棧式CMOS（右）（圖片來(lái)源索尼日本）

　　早在2012年8月索尼就推出了堆棧式CMOS架構(gòu)，它使用有信號(hào)處理電路的芯片替代了之前常見(jiàn)的背照式CMOS圖像傳感器中的支持基板，在芯片上重疊形成背照式CMOS元件的像素部分，從而實(shí)現(xiàn)了在較小的芯片尺寸上形成大量像素點(diǎn)的工藝。由于像素部分和電路部分是獨(dú)立設(shè)計(jì)的，因此像素部分可以針對(duì)高畫(huà)質(zhì)優(yōu)化，電路部分可以針對(duì)高性能優(yōu)化。

　　堆棧式CMOS（左）與加入DRAM層的三層堆棧式CMOS（圖片來(lái)源索尼日本）

　　這次，索尼將CMOS架構(gòu)做出了調(diào)整，在像素層和電路層之間新加入了DRAM層（動(dòng)態(tài)隨機(jī)存儲(chǔ)單元），這一部分在整個(gè)CMOS模組當(dāng)中充當(dāng)緩存角色，用于存儲(chǔ)像素層獲取到的圖像信息，因此大幅提升了傳感器處理數(shù)據(jù)的速度。根據(jù)索尼方面的數(shù)據(jù)，新CMOS可以在1/120秒內(nèi)讀取1930萬(wàn)像素的圖片，這個(gè)速度比自家的旗艦級(jí)CMOS IMX318快上4倍。

　　加入DRAM層的索尼最新三層堆棧式CMOS橫斷面（圖片來(lái)源索尼日本）

　　同時(shí)，雖然數(shù)據(jù)處理速度大幅提升，但DRAM層的加入并沒(méi)有對(duì)整個(gè)CMOS模組的能耗造成拖累。加上依舊保持堆棧式CMOS體積小的優(yōu)勢(shì)，可以被應(yīng)用在某些追求超纖薄的智能手機(jī)上面，符合智能手機(jī)整體纖薄化的發(fā)展趨勢(shì)。