一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

關(guān)于深度學(xué)習(xí)用于多模態(tài)語(yǔ)義學(xué)習(xí)的簡(jiǎn)述

獨(dú)愛(ài)72H ? 來(lái)源:網(wǎng)絡(luò)整理 ? 作者:佚名 ? 2020-04-15 17:33 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

(文章來(lái)源:網(wǎng)絡(luò)整理)

互聯(lián)網(wǎng)用戶所創(chuàng)造的“內(nèi)容”正在迅猛增長(zhǎng),從不同渠道涌現(xiàn)的文本、圖像和視頻等不同類型的媒體數(shù)據(jù)以及用戶信息更加緊密混合。它們正在以一種新的形式,更為形象綜合地表達(dá)語(yǔ)義、主題和事件。針對(duì)當(dāng)前媒體數(shù)據(jù)呈現(xiàn)出的特點(diǎn)進(jìn)行深入研究已成為學(xué)術(shù)熱點(diǎn),多種類型媒體數(shù)據(jù)依賴共存,各種平臺(tái)和應(yīng)用的數(shù)據(jù)來(lái)源廣泛,個(gè)體和群體參與數(shù)據(jù)產(chǎn)生的用戶交互史無(wú)前例。

谷歌的前任研究主管皮特·諾文(Perter Norvig)博士曾在2010年《自然》雜志上發(fā)表文章《2020愿景》,指出今后10年,文本、圖像、視頻等數(shù)據(jù)以及用戶交互信息和各種傳感器信息將混合在一起,從搜索角度看,搜索引擎對(duì)檢索結(jié)果進(jìn)行的是內(nèi)容綜合而非數(shù)據(jù)羅列,這也將是谷歌今后面臨的巨大挑戰(zhàn)。我國(guó)也同樣重視“跨媒體”研究,國(guó)家科技部于2011年11月啟動(dòng)了973計(jì)劃項(xiàng)目“面向公共安全的跨媒體計(jì)算理論與方法”,對(duì)“跨媒體”的表達(dá)建模、語(yǔ)義學(xué)習(xí)、挖掘推理和搜索排序等核心問(wèn)題開(kāi)展了理論研究。目前,媒體計(jì)算需要重點(diǎn)解決的兩個(gè)難點(diǎn)是消除“異構(gòu)鴻溝”和“語(yǔ)義鴻溝。

傳統(tǒng)的媒體計(jì)算研究方法主要從手工構(gòu)建的底層特征出發(fā),利用機(jī)器學(xué)習(xí)方法填補(bǔ)異構(gòu)鴻溝和語(yǔ)義鴻溝。與傳統(tǒng)方法不同深度學(xué)習(xí)是通過(guò)將無(wú)監(jiān)督逐層預(yù)訓(xùn)練與有監(jiān)督微調(diào)(fine-tuning)有機(jī)結(jié)合,實(shí)現(xiàn)端到端方式的特征學(xué)習(xí)。其基本動(dòng)機(jī)是構(gòu)建多層網(wǎng)絡(luò)來(lái)學(xué)習(xí)隱含在數(shù)據(jù)內(nèi)部的關(guān)系,從而使學(xué)習(xí)得到的特征具有更強(qiáng)的表達(dá)力和泛化能力。

在大規(guī)模數(shù)據(jù)上進(jìn)行的實(shí)驗(yàn)表明:通過(guò)深度學(xué)習(xí)得到的特征表示在自然語(yǔ)言處理(詞向量學(xué)習(xí))、知識(shí)圖譜構(gòu)建、圖像分類和語(yǔ)音識(shí)別等領(lǐng)域表現(xiàn)出良好的性能。例如谷歌研究組在2014年大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽中采用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)GoogLeNet,將圖像識(shí)別準(zhǔn)確率提升到93.3%。

通常,在媒體語(yǔ)義理解過(guò)程中可獲取不同類型的媒體數(shù)據(jù),如:新聞報(bào)道包含了文字和文字對(duì)應(yīng)的圖像,視頻包含了視覺(jué)和聽(tīng)覺(jué)信息。不同類型的媒體數(shù)據(jù)從不同側(cè)面反映了高層語(yǔ)義,因此多模態(tài)語(yǔ)義學(xué)習(xí)需要對(duì)不同模態(tài)的信息進(jìn)行整合。1976年,麥格克(McGurk)等人驗(yàn)證了人類對(duì)外界信息的認(rèn)知是基于不同感官信息而形成的整體性理解,任何感官信息的缺乏或不準(zhǔn)確,都將導(dǎo)致大腦對(duì)外界信息的理解產(chǎn)生偏差,這個(gè)現(xiàn)象被稱為“McGurk現(xiàn)象”。McGurk現(xiàn)象揭示了大腦在進(jìn)行感知時(shí),不同感官會(huì)被無(wú)意識(shí)地自動(dòng)結(jié)合在一起對(duì)信息進(jìn)行處理。

由于深度學(xué)習(xí)具有通過(guò)逐層抽象來(lái)形成良好特征的能力,因此可利用該方法來(lái)形成不同類型數(shù)據(jù)的聯(lián)合特征表示。具體方法有深度典范相關(guān)分析(Deep Caconical Correlation Analysis,Deep CCA)、多模態(tài)深度學(xué)習(xí)以及多模態(tài)玻爾茲曼機(jī)等。這些方法的基本思路是通過(guò)不同的深層模型對(duì)不同類型數(shù)據(jù)進(jìn)行逐層學(xué)習(xí),將學(xué)習(xí)得到的結(jié)果進(jìn)行合并,以得到多模態(tài)聯(lián)合特征表示,最后要求多模態(tài)聯(lián)合特征能有效重建原始不同類型數(shù)據(jù)或表達(dá)相關(guān)語(yǔ)義概念。為了得到更好的深層模型,一般在深層模型的最頂端設(shè)計(jì)反映不同類型數(shù)據(jù)相互耦合的損失函數(shù)來(lái)對(duì)模型進(jìn)行優(yōu)化反饋。

將深度學(xué)習(xí)應(yīng)用于語(yǔ)義概念識(shí)別和理解時(shí),有兩種方法:(1)將深度學(xué)習(xí)得到的特征表示直接輸入給判別分類模型(如支持向量機(jī)等);(2)通過(guò)softmax函數(shù)或回歸函數(shù)對(duì)輸人數(shù)據(jù)、隱含層和輸出層(語(yǔ)義標(biāo)簽)之間的概率分布進(jìn)行建模,然后基于互信息熵最小或間隔距離最大等準(zhǔn)則對(duì)模型進(jìn)行優(yōu)化。

有人的理論研究結(jié)果表明:在機(jī)器學(xué)習(xí)中,如果對(duì)模型本身的假設(shè)產(chǎn)生偏差,則會(huì)影響學(xué)習(xí)結(jié)果。因此,如何合理引入數(shù)據(jù)本身所具有的先驗(yàn)知識(shí)和結(jié)構(gòu)線索,來(lái)構(gòu)造和微調(diào)深層模型使之更好地處理多模態(tài)數(shù)據(jù),是一個(gè)亟待解決的問(wèn)題。因此,一些研究開(kāi)始在生成式深層模型或區(qū)別式深層模型中引入數(shù)據(jù)本身所具有的先驗(yàn)結(jié)構(gòu),以提升特征學(xué)習(xí)的泛化能力和區(qū)別能力。有人在卷積神經(jīng)網(wǎng)絡(luò)輸出端引入層次化概念樹(shù)來(lái)促進(jìn)關(guān)聯(lián)語(yǔ)義所具有的共享特征的學(xué)習(xí),有人通過(guò)非參貝葉斯假設(shè)來(lái)提高判別性語(yǔ)義特征學(xué)習(xí)的靈活度。
(責(zé)任編輯:fqj)

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    ?模態(tài)交互技術(shù)解析

    模態(tài)交互 模態(tài)交互( Multimodal Interaction )是指通過(guò)多種感官通道(如視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等)或多種交互方式(如語(yǔ)音、手勢(shì)、觸控、眼動(dòng)等)與計(jì)算機(jī)系統(tǒng)進(jìn)行自然、
    的頭像 發(fā)表于 03-17 15:12 ?2035次閱讀

    照明產(chǎn)品質(zhì)量分級(jí)認(rèn)證規(guī)則(學(xué)習(xí)用燈具)

    電子發(fā)燒友網(wǎng)站提供《照明產(chǎn)品質(zhì)量分級(jí)認(rèn)證規(guī)則(學(xué)習(xí)用燈具).pdf》資料免費(fèi)下載
    發(fā)表于 02-20 13:43 ?1次下載

    軍事應(yīng)用中深度學(xué)習(xí)的挑戰(zhàn)與機(jī)遇

    人工智能尤其是深度學(xué)習(xí)技術(shù)的最新進(jìn)展,加速了不同應(yīng)用領(lǐng)域的創(chuàng)新與發(fā)展。深度學(xué)習(xí)技術(shù)的發(fā)展深刻影響了軍事發(fā)展趨勢(shì),導(dǎo)致戰(zhàn)爭(zhēng)形式和模式發(fā)生重大變化。本文將概述
    的頭像 發(fā)表于 02-14 11:15 ?535次閱讀

    BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系

    BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)之間存在著密切的關(guān)系,以下是對(duì)它們之間關(guān)系的介紹: 一、BP神經(jīng)網(wǎng)絡(luò)的基本概念 BP神經(jīng)網(wǎng)絡(luò),即反向傳播神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural Network
    的頭像 發(fā)表于 02-12 15:15 ?850次閱讀

    體驗(yàn)MiniCPM-V 2.6 模態(tài)能力

    模態(tài)組網(wǎng)
    jf_23871869
    發(fā)布于 :2025年01月20日 13:40:48

    NPU在深度學(xué)習(xí)中的應(yīng)用

    隨著人工智能技術(shù)的飛速發(fā)展,深度學(xué)習(xí)作為其核心驅(qū)動(dòng)力之一,已經(jīng)在眾多領(lǐng)域展現(xiàn)出了巨大的潛力和價(jià)值。NPU(Neural Processing Unit,神經(jīng)網(wǎng)絡(luò)處理單元)是專門為深度學(xué)習(xí)
    的頭像 發(fā)表于 11-14 15:17 ?1902次閱讀

    pcie在深度學(xué)習(xí)中的應(yīng)用

    深度學(xué)習(xí)模型通常需要大量的數(shù)據(jù)和強(qiáng)大的計(jì)算能力來(lái)訓(xùn)練。傳統(tǒng)的CPU計(jì)算資源有限,難以滿足深度學(xué)習(xí)的需求。因此,GPU(圖形處理單元)和TPU(張量處理單元)等專用硬件應(yīng)運(yùn)而生,它們通過(guò)
    的頭像 發(fā)表于 11-13 10:39 ?1342次閱讀

    Pytorch深度學(xué)習(xí)訓(xùn)練的方法

    掌握這 17 種方法,用最省力的方式,加速你的 Pytorch 深度學(xué)習(xí)訓(xùn)練。
    的頭像 發(fā)表于 10-28 14:05 ?651次閱讀
    Pytorch<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>訓(xùn)練的方法

    GPU深度學(xué)習(xí)應(yīng)用案例

    能力,可以顯著提高圖像識(shí)別模型的訓(xùn)練速度和準(zhǔn)確性。例如,在人臉識(shí)別、自動(dòng)駕駛等領(lǐng)域,GPU被廣泛應(yīng)用于加速深度學(xué)習(xí)模型的訓(xùn)練和推理過(guò)程。 二、自然語(yǔ)言處理 自然語(yǔ)言處理(NLP)是深度
    的頭像 發(fā)表于 10-27 11:13 ?1353次閱讀

    FPGA加速深度學(xué)習(xí)模型的案例

    FPGA(現(xiàn)場(chǎng)可編程門陣列)加速深度學(xué)習(xí)模型是當(dāng)前硬件加速領(lǐng)域的一個(gè)熱門研究方向。以下是一些FPGA加速深度學(xué)習(xí)模型的案例: 一、基于FPGA的AlexNet卷積運(yùn)算加速 項(xiàng)目名稱
    的頭像 發(fā)表于 10-25 09:22 ?1220次閱讀

    AI大模型與深度學(xué)習(xí)的關(guān)系

    AI大模型與深度學(xué)習(xí)之間存在著密不可分的關(guān)系,它們互為促進(jìn),相輔相成。以下是對(duì)兩者關(guān)系的介紹: 一、深度學(xué)習(xí)是AI大模型的基礎(chǔ) 技術(shù)支撐 :深度
    的頭像 發(fā)表于 10-23 15:25 ?2879次閱讀

    利用OpenVINO部署Qwen2模態(tài)模型

    模態(tài)大模型的核心思想是將不同媒體數(shù)據(jù)(如文本、圖像、音頻和視頻等)進(jìn)行融合,通過(guò)學(xué)習(xí)不同模態(tài)之間的關(guān)聯(lián),實(shí)現(xiàn)更加智能化的信息處理。簡(jiǎn)單來(lái)說(shuō),
    的頭像 發(fā)表于 10-18 09:39 ?1251次閱讀

    FPGA做深度學(xué)習(xí)能走多遠(yuǎn)?

    。FPGA的優(yōu)勢(shì)就是可編程可配置,邏輯資源,功耗低,而且賽靈思等都在極力推廣。不知道用FPGA做深度學(xué)習(xí)未來(lái)會(huì)怎樣發(fā)展,能走多遠(yuǎn),你怎么看。 A:FPGA 在深度
    發(fā)表于 09-27 20:53

    NVIDIA推出全新深度學(xué)習(xí)框架fVDB

    在 SIGGRAPH 上推出的全新深度學(xué)習(xí)框架可用于打造自動(dòng)駕駛汽車、氣候科學(xué)和智慧城市的 AI 就緒型虛擬表示。
    的頭像 發(fā)表于 08-01 14:31 ?1141次閱讀

    PyTorch深度學(xué)習(xí)開(kāi)發(fā)環(huán)境搭建指南

    PyTorch作為一種流行的深度學(xué)習(xí)框架,其開(kāi)發(fā)環(huán)境的搭建對(duì)于深度學(xué)習(xí)研究者和開(kāi)發(fā)者來(lái)說(shuō)至關(guān)重要。在Windows操作系統(tǒng)上搭建PyTorch環(huán)境,需要綜合考慮多個(gè)方面,包括軟件安裝、
    的頭像 發(fā)表于 07-16 18:29 ?2522次閱讀