(文章來(lái)源:網(wǎng)絡(luò)整理)
互聯(lián)網(wǎng)用戶所創(chuàng)造的“內(nèi)容”正在迅猛增長(zhǎng),從不同渠道涌現(xiàn)的文本、圖像和視頻等不同類型的媒體數(shù)據(jù)以及用戶信息更加緊密混合。它們正在以一種新的形式,更為形象綜合地表達(dá)語(yǔ)義、主題和事件。針對(duì)當(dāng)前媒體數(shù)據(jù)呈現(xiàn)出的特點(diǎn)進(jìn)行深入研究已成為學(xué)術(shù)熱點(diǎn),多種類型媒體數(shù)據(jù)依賴共存,各種平臺(tái)和應(yīng)用的數(shù)據(jù)來(lái)源廣泛,個(gè)體和群體參與數(shù)據(jù)產(chǎn)生的用戶交互史無(wú)前例。
谷歌的前任研究主管皮特·諾文(Perter Norvig)博士曾在2010年《自然》雜志上發(fā)表文章《2020愿景》,指出今后10年,文本、圖像、視頻等數(shù)據(jù)以及用戶交互信息和各種傳感器信息將混合在一起,從搜索角度看,搜索引擎對(duì)檢索結(jié)果進(jìn)行的是內(nèi)容綜合而非數(shù)據(jù)羅列,這也將是谷歌今后面臨的巨大挑戰(zhàn)。我國(guó)也同樣重視“跨媒體”研究,國(guó)家科技部于2011年11月啟動(dòng)了973計(jì)劃項(xiàng)目“面向公共安全的跨媒體計(jì)算理論與方法”,對(duì)“跨媒體”的表達(dá)建模、語(yǔ)義學(xué)習(xí)、挖掘推理和搜索排序等核心問(wèn)題開(kāi)展了理論研究。目前,媒體計(jì)算需要重點(diǎn)解決的兩個(gè)難點(diǎn)是消除“異構(gòu)鴻溝”和“語(yǔ)義鴻溝。
傳統(tǒng)的媒體計(jì)算研究方法主要從手工構(gòu)建的底層特征出發(fā),利用機(jī)器學(xué)習(xí)方法填補(bǔ)異構(gòu)鴻溝和語(yǔ)義鴻溝。與傳統(tǒng)方法不同深度學(xué)習(xí)是通過(guò)將無(wú)監(jiān)督逐層預(yù)訓(xùn)練與有監(jiān)督微調(diào)(fine-tuning)有機(jī)結(jié)合,實(shí)現(xiàn)端到端方式的特征學(xué)習(xí)。其基本動(dòng)機(jī)是構(gòu)建多層網(wǎng)絡(luò)來(lái)學(xué)習(xí)隱含在數(shù)據(jù)內(nèi)部的關(guān)系,從而使學(xué)習(xí)得到的特征具有更強(qiáng)的表達(dá)力和泛化能力。
在大規(guī)模數(shù)據(jù)上進(jìn)行的實(shí)驗(yàn)表明:通過(guò)深度學(xué)習(xí)得到的特征表示在自然語(yǔ)言處理(詞向量學(xué)習(xí))、知識(shí)圖譜構(gòu)建、圖像分類和語(yǔ)音識(shí)別等領(lǐng)域表現(xiàn)出良好的性能。例如谷歌研究組在2014年大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽中采用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)GoogLeNet,將圖像識(shí)別準(zhǔn)確率提升到93.3%。
通常,在媒體語(yǔ)義理解過(guò)程中可獲取不同類型的媒體數(shù)據(jù),如:新聞報(bào)道包含了文字和文字對(duì)應(yīng)的圖像,視頻包含了視覺(jué)和聽(tīng)覺(jué)信息。不同類型的媒體數(shù)據(jù)從不同側(cè)面反映了高層語(yǔ)義,因此多模態(tài)語(yǔ)義學(xué)習(xí)需要對(duì)不同模態(tài)的信息進(jìn)行整合。1976年,麥格克(McGurk)等人驗(yàn)證了人類對(duì)外界信息的認(rèn)知是基于不同感官信息而形成的整體性理解,任何感官信息的缺乏或不準(zhǔn)確,都將導(dǎo)致大腦對(duì)外界信息的理解產(chǎn)生偏差,這個(gè)現(xiàn)象被稱為“McGurk現(xiàn)象”。McGurk現(xiàn)象揭示了大腦在進(jìn)行感知時(shí),不同感官會(huì)被無(wú)意識(shí)地自動(dòng)結(jié)合在一起對(duì)信息進(jìn)行處理。
由于深度學(xué)習(xí)具有通過(guò)逐層抽象來(lái)形成良好特征的能力,因此可利用該方法來(lái)形成不同類型數(shù)據(jù)的聯(lián)合特征表示。具體方法有深度典范相關(guān)分析(Deep Caconical Correlation Analysis,Deep CCA)、多模態(tài)深度學(xué)習(xí)以及多模態(tài)玻爾茲曼機(jī)等。這些方法的基本思路是通過(guò)不同的深層模型對(duì)不同類型數(shù)據(jù)進(jìn)行逐層學(xué)習(xí),將學(xué)習(xí)得到的結(jié)果進(jìn)行合并,以得到多模態(tài)聯(lián)合特征表示,最后要求多模態(tài)聯(lián)合特征能有效重建原始不同類型數(shù)據(jù)或表達(dá)相關(guān)語(yǔ)義概念。為了得到更好的深層模型,一般在深層模型的最頂端設(shè)計(jì)反映不同類型數(shù)據(jù)相互耦合的損失函數(shù)來(lái)對(duì)模型進(jìn)行優(yōu)化反饋。
將深度學(xué)習(xí)應(yīng)用于語(yǔ)義概念識(shí)別和理解時(shí),有兩種方法:(1)將深度學(xué)習(xí)得到的特征表示直接輸入給判別分類模型(如支持向量機(jī)等);(2)通過(guò)softmax函數(shù)或回歸函數(shù)對(duì)輸人數(shù)據(jù)、隱含層和輸出層(語(yǔ)義標(biāo)簽)之間的概率分布進(jìn)行建模,然后基于互信息熵最小或間隔距離最大等準(zhǔn)則對(duì)模型進(jìn)行優(yōu)化。
有人的理論研究結(jié)果表明:在機(jī)器學(xué)習(xí)中,如果對(duì)模型本身的假設(shè)產(chǎn)生偏差,則會(huì)影響學(xué)習(xí)結(jié)果。因此,如何合理引入數(shù)據(jù)本身所具有的先驗(yàn)知識(shí)和結(jié)構(gòu)線索,來(lái)構(gòu)造和微調(diào)深層模型使之更好地處理多模態(tài)數(shù)據(jù),是一個(gè)亟待解決的問(wèn)題。因此,一些研究開(kāi)始在生成式深層模型或區(qū)別式深層模型中引入數(shù)據(jù)本身所具有的先驗(yàn)結(jié)構(gòu),以提升特征學(xué)習(xí)的泛化能力和區(qū)別能力。有人在卷積神經(jīng)網(wǎng)絡(luò)輸出端引入層次化概念樹(shù)來(lái)促進(jìn)關(guān)聯(lián)語(yǔ)義所具有的共享特征的學(xué)習(xí),有人通過(guò)非參貝葉斯假設(shè)來(lái)提高判別性語(yǔ)義特征學(xué)習(xí)的靈活度。
(責(zé)任編輯:fqj)
-
互聯(lián)網(wǎng)
+關(guān)注
關(guān)注
55文章
11249瀏覽量
106380 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5561瀏覽量
122789
發(fā)布評(píng)論請(qǐng)先 登錄
?多模態(tài)交互技術(shù)解析
照明產(chǎn)品質(zhì)量分級(jí)認(rèn)證規(guī)則(學(xué)習(xí)用燈具)
軍事應(yīng)用中深度學(xué)習(xí)的挑戰(zhàn)與機(jī)遇
BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系

評(píng)論