我們看到了智能技術(shù)在影像辨識(shí)、偵測上的突破,甚至落地為產(chǎn)品。很多人問,這些深度學(xué)習(xí)為核心的計(jì)算機(jī)視覺技術(shù)也可以具有人類的美感—具有評判、編修、甚至美學(xué)創(chuàng)作的能力嗎?
智能視覺美感技術(shù)大致可以區(qū)分為三類:首先為影像(或視訊)編修強(qiáng)化,包括修圖(對比、亮度、景深等)、超高分辨率成像、突破壓縮技術(shù)、改善電視顯像質(zhì)量、加速電影(內(nèi)容)特效制作、甚至主動(dòng)改善車輛安全駕駛在低亮度下的視訊質(zhì)量;其次為照片美學(xué)評分、取景,自動(dòng)挑選具美感的照片或是畫面;第三為自動(dòng)生成不存在的影像。而這些核心技術(shù)所啟發(fā)的應(yīng)用都已經(jīng)是進(jìn)行式,或是即將落地為產(chǎn)品。
相關(guān)技術(shù)大大改變數(shù)位內(nèi)容產(chǎn)業(yè)。梵谷油畫電影《梵谷:星夜之謎(Loving Vincent)》耗時(shí)6年,動(dòng)員超過百位來自世界各地的畫家才完成這個(gè)耗時(shí)、耗資的工作。目前已經(jīng)有軟件服務(wù)完成類似的功能,可以讓一般人自動(dòng)將影片轉(zhuǎn)換為特定畫家的風(fēng)格,透過畫家的經(jīng)典創(chuàng)作,讓卷積網(wǎng)絡(luò)(CNN)的數(shù)千萬個(gè)參數(shù),學(xué)習(xí)到影像轉(zhuǎn)換的方式,均衡風(fēng)格跟影片內(nèi)容。我們在兩年前參與的IBM華生研究中心預(yù)告片自動(dòng)剪輯研究,也同樣帶來類似產(chǎn)業(yè)的突破。
一般的卷積網(wǎng)絡(luò)架構(gòu)為設(shè)計(jì)適合的編碼器以及相對的譯碼器;前者將畫面內(nèi)容解析之后,透過后者生成適切的影像(強(qiáng)化或是編修),大量的卷積網(wǎng)絡(luò)參數(shù)透過事前的訓(xùn)練數(shù)據(jù)來達(dá)成目的。而時(shí)常被忽略的是適合的目標(biāo)函數(shù),通常得同時(shí)使用多個(gè),并將領(lǐng)域知識(shí)吸納其中,這是成功與否的重要關(guān)鍵!
在美學(xué)評分方面,一般利用卷積網(wǎng)絡(luò)加上回歸函式來逼近美感分?jǐn)?shù)。最大的挑戰(zhàn)在于訓(xùn)練的數(shù)據(jù)。因?yàn)閲?yán)謹(jǐn)?shù)拿栏袪可娴轿幕?、社?huì)、以及個(gè)人的差異,可以取得的訓(xùn)練數(shù)據(jù)─不管是透過人工標(biāo)注或是社群網(wǎng)絡(luò)下載—不全具代表性,很難學(xué)習(xí)到通用的美感。不過在特定家用照片上,透過自動(dòng)評分,甚至修正照片(旋轉(zhuǎn)、取景、飽和度等)等都已經(jīng)落地在國內(nèi)外的各種應(yīng)用當(dāng)中。如果能進(jìn)一步熟悉應(yīng)用場域,個(gè)人化適性學(xué)習(xí),將有更大發(fā)揮的空間。
最具挑戰(zhàn)的是從無到有生成具美感的影像,一般都嘗試?yán)蒙蓪咕W(wǎng)絡(luò)(GAN)來實(shí)現(xiàn),但是目前在速度、分辨率、生成質(zhì)量控制上都還有相當(dāng)努力的空間。
值得產(chǎn)業(yè)注意的是,我們觀察到這些視覺美感智能突破也逐漸由云端走入本地端。相機(jī)、攝影機(jī)、電視等相關(guān)芯片都已經(jīng)看到國內(nèi)外的公司正逐漸布局。因?yàn)樘峁┚呙栏械纳铙w驗(yàn),不正也是智能時(shí)代的新產(chǎn)品嗎?
-
計(jì)算機(jī)視覺
+關(guān)注
關(guān)注
9文章
1709瀏覽量
46777 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5561瀏覽量
122794
原文標(biāo)題:【椽經(jīng)閣】智能技術(shù)可以具有人類的視覺美感嗎?
文章出處:【微信號(hào):DIGITIMES,微信公眾號(hào):DIGITIMES】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
【「# ROS 2智能機(jī)器人開發(fā)實(shí)踐」閱讀體驗(yàn)】視覺實(shí)現(xiàn)的基礎(chǔ)算法的應(yīng)用
英飛凌邊緣AI平臺(tái)通過Ultralytics YOLO模型增加對計(jì)算機(jī)視覺的支持

Arm KleidiCV與OpenCV集成助力移動(dòng)端計(jì)算機(jī)視覺性能優(yōu)化
AR和VR中的計(jì)算機(jī)視覺

【「具身智能機(jī)器人系統(tǒng)」閱讀體驗(yàn)】+兩本互為支持的書
【小白入門必看】一文讀懂深度學(xué)習(xí)計(jì)算機(jī)視覺技術(shù)及學(xué)習(xí)路線

AI干貨補(bǔ)給站 | 深度學(xué)習(xí)與機(jī)器視覺的融合探索

ARMxy嵌入式計(jì)算機(jī)在機(jī)器視覺中的卓越表現(xiàn)

初創(chuàng)公司SEA.AI利用NVIDIA邊緣AI和計(jì)算機(jī)視覺技術(shù)變革航海安全系統(tǒng)
ARMxy ARM嵌入式計(jì)算機(jī)搭載 1 TOPS NPU支持深度學(xué)習(xí)

計(jì)算機(jī)視覺有哪些優(yōu)缺點(diǎn)
圖像處理器與計(jì)算機(jī)視覺有什么關(guān)系和區(qū)別
計(jì)算機(jī)視覺中的圖像融合

地平線科研論文入選國際計(jì)算機(jī)視覺頂會(huì)ECCV 2024

評論