一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

自然語言處理——人工智能連接主義復(fù)興浪潮中的下一個突破口

kus1_iawbs2016 ? 來源:YXQ ? 2019-07-12 15:21 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

AI 行業(yè)應(yīng)用是一片新的大陸,深度學(xué)習(xí)作為新大陸的基石,經(jīng)歷了一輪又一輪突破。過去十年,在計算機(jī)視覺、語音識別、棋類 AI 等計算和感知智能技術(shù)上,深度學(xué)習(xí)率先取得成功。而最近深度學(xué)習(xí)在認(rèn)知智能/自然語言處理上的進(jìn)展,特別是 Transformer 衍生模型加上兩階段預(yù)訓(xùn)練語言模型范式的成功,正在將自然語言處理變成人工智能下一個最有可能的突破口。

計算機(jī)視覺與語音的成功是破繭成蝶,而非橫空出世

2010 年到 2017 年,從 LeNet 到 AlexNet、Inception、VGGNet、ResNet 及其衍生結(jié)構(gòu),深度神經(jīng)網(wǎng)絡(luò)加上集成學(xué)習(xí)技術(shù)在計算機(jī)視覺研究中大放異彩,在 ImageNet 大規(guī)模深度視覺挑戰(zhàn)(ILSVRC)圖像分類任務(wù)上的錯誤率從 28.2% 一路降低到了 2% 左右。盡管這仍然是“實(shí)驗(yàn)室環(huán)境”下的結(jié)果,但當(dāng) AI 在某一個單點(diǎn)任務(wù)上的表現(xiàn)接近或者超越人類的時候,就會給行業(yè)帶來巨大的商機(jī)。在視覺分類、檢索、匹配、目標(biāo)檢測等各項(xiàng)任務(wù)上,隨著相關(guān)算法越來越準(zhǔn)確,業(yè)界也開始在大量商業(yè)場景中嘗試這些技術(shù)。

人臉識別,作為計算機(jī)視覺技術(shù)取得突破的一個代表性應(yīng)用,就是在這個大背景下從技術(shù)研究期進(jìn)入成熟商業(yè)期,爆發(fā)成為一個千億甚至萬億級別的市場。

但在計算機(jī)視覺技術(shù)商業(yè)化的歷程中,其實(shí)也有一段不短的蟄伏期。在深度卷積神經(jīng)網(wǎng)絡(luò)興起之前,微軟亞洲研究院研究人臉識別的團(tuán)隊(duì)曾在內(nèi)部長期遭受質(zhì)疑:做了十多年,準(zhǔn)確率總是只有 70% 到 80%,看上去挺好玩,但這個準(zhǔn)確率能有什么實(shí)際的應(yīng)用價值呢?然而 2010 年深度學(xué)習(xí)浪潮迅速掃清了質(zhì)疑,長期研究這個方向的被質(zhì)疑者們,成了這個新商業(yè)領(lǐng)域的領(lǐng)導(dǎo)者,從火種涅槃成為滿天繁星。而連接主義學(xué)派的忠實(shí)信徒、蟄伏近三十年的深度學(xué)習(xí)三劍客 Geoff Hinton、Yann LeCun 和 Yoshua Bengio,也是因?yàn)樵诮y(tǒng)計機(jī)器學(xué)習(xí)盛行的數(shù)十年間受盡冷眼的厚積,才有了 2010 年后因 GPU 算力和神經(jīng)網(wǎng)絡(luò)模型不斷加深而產(chǎn)生的薄發(fā),從而一舉獲得圖靈獎。

為什么自然語言處理領(lǐng)域的發(fā)展要相對滯后?

深度學(xué)習(xí)在計算機(jī)視覺、語音識別等感知智能技術(shù)上率先取得成功并不是偶然。深度學(xué)習(xí)秉承連接主義學(xué)派的范式,相較傳統(tǒng)統(tǒng)計機(jī)器學(xué)習(xí)技術(shù)的最大進(jìn)化在于其利用了高于統(tǒng)計方法數(shù)個數(shù)量級的參數(shù)和極其復(fù)雜的函數(shù)組合,通過引入各種非線性和多層級感知能力,構(gòu)成了遠(yuǎn)強(qiáng)于統(tǒng)計機(jī)器學(xué)習(xí)模型的擬合能力。ResNet-152 的參數(shù)量已經(jīng)達(dá)到六千萬的級別,GPT-2.0 的參數(shù)量達(dá)到了驚人的 15 億。而其他上億甚至數(shù)億級別的網(wǎng)絡(luò)更是數(shù)不勝數(shù)。如此復(fù)雜的模型對數(shù)據(jù)的擬合能力達(dá)到了前所未有的水平,但是同時也極大提高了過擬合的風(fēng)險。這對數(shù)據(jù)提出了極高的要求。訓(xùn)練數(shù)據(jù)的數(shù)量、維度、采樣均衡度、單條數(shù)據(jù)本身的稠密度(非0、不稀疏的程度),都需要達(dá)到極高的水平,才能將過擬合現(xiàn)象降低到可控范圍。

視覺信息(圖像、視頻)恰好是這樣一類自然連續(xù)信號:一張圖片通常就有數(shù)百萬甚至上千萬像素,而且每個像素上通常都有顏色,數(shù)據(jù)量大、數(shù)據(jù)的表示稠密、冗余度也高。往往在丟失大量直接視覺信號的情況下,人還能迅速理解圖片的語義信息,就是因?yàn)樽匀贿B續(xù)信號,如圖像中的場景和物體往往具有視覺、結(jié)構(gòu)和語義上的共性。一個 30MB 的位圖圖片能被壓縮到 2MB 而讓人眼基本無法感知區(qū)別;一個 30MB 的 wave 音頻文件被壓縮到 3MB 的 MP3 還能基本保持主要旋律和聽感,都是因?yàn)檫@類自然連續(xù)信號中存在大量不易被人的感官所感知的冗余。

視覺信息這種的豐富和冗余度,讓深度神經(jīng)網(wǎng)絡(luò)得以從監(jiān)督信號中一層層提煉、一層層感知,最終學(xué)會部分判斷邏輯。深度神經(jīng)網(wǎng)絡(luò)在感知智能階段中在視覺任務(wù)和語音任務(wù)上的成功,離不開視覺、語音信號自身的這種數(shù)據(jù)特點(diǎn)。

今天,屬于感知智能的視覺和語音應(yīng)用已經(jīng)全面開花,但屬于認(rèn)知智能的自然語言處理卻發(fā)展滯后。這種發(fā)展?fàn)顟B(tài)與自然語言處理技術(shù)中的數(shù)據(jù)特征也有密不可分的關(guān)系。

相對于圖片、語音給出的直接信號,文字是一種高階抽象離散信號。較之圖片中的一個像素,文本中一個單元信息密度更大、冗余度更低,往往組成句子的每一個單詞、加上單詞出現(xiàn)的順序,才能正確表達(dá)出完整的意思。如何利用單個文本元素(字/詞)的意思,以及如何利用語句中的順序信息,是近年來自然語言處理和文本分析技術(shù)的主要探索脈絡(luò)。

2013 年,詞的分布式向量表示(Distributed Representation)出現(xiàn)之前,如何在計算機(jī)中高效表示單個字/詞是難以逾越的第一個坎。在只能用One-hot向量來表示字/詞的年代,兩個近義詞的表示之間的關(guān)系卻完全獨(dú)立,語義相似度無法計算;上表示一個字/詞所需的上萬維向量中只有一個維度為1,其他維度都為0,稀疏度極高。面對這類信號,深度神經(jīng)網(wǎng)絡(luò)這類復(fù)雜的模型所擅長的化繁為簡的抽象、提煉、總結(jié)能力便束手無策,因?yàn)檩斎胄盘栆呀?jīng)極簡到了連最基礎(chǔ)的自我表示都難以做到。

NLP 中的兩大重要挑戰(zhàn):特征表示、結(jié)構(gòu)/語義理解正取得關(guān)鍵進(jìn)展

而分布式詞向量將語言的特征表示向前推進(jìn)了一大步。分布式詞向量提出了一個合理的假設(shè):兩個詞的相似度,可以由他們在多個句子中各自的上下文的相似度去度量,而上下文相似的兩個詞會在向量空間中由兩個接近的向量來表示。這種做法部分賦予了詞向量“語義”,因此我們不必再讓機(jī)器去查百科全書告訴我們“蘋果”的近義詞是“梨子”,而是直接從大量的互聯(lián)網(wǎng)語料中去學(xué)習(xí),原來“蘋果”的近義詞也可以是“三星”、“華為”。因?yàn)槿藗兂3f“我購買了一個蘋果手機(jī)”,也常說“我購買了一個三星手機(jī)”,模型會敏銳的學(xué)習(xí)到“蘋果”和“三星”在大量語料中出現(xiàn)時其上下文高度相似,因而認(rèn)為兩個詞相似。分布式詞向量讓無語義、極稀疏的 One-hot 向量壽終正寢,而為大家提供了嵌入語義信息、稠密的特征表示,這才使得深度神經(jīng)網(wǎng)絡(luò)在自然語言處理和文本分析上的應(yīng)用真正變得可能。

捕捉語句中在獨(dú)立的詞集合基礎(chǔ)之上、詞序列構(gòu)成的句子結(jié)構(gòu)信息也是自然語言處理和文本分析中的一個主要方向。傳統(tǒng)條件隨機(jī)場(CRF)考慮了前后相鄰元素和當(dāng)前元素之間的依賴;長短時記憶網(wǎng)絡(luò)模型(LSTM)以一種衰減形式考慮了當(dāng)前元素之前的元素序列;seq2seq 通過注意力和編解碼的機(jī)制使得解碼時的當(dāng)前元素不光能用上已經(jīng)解碼完畢的元素序列,還能用上編碼前的序列的完整信息;近期各類基于 Transformer 結(jié)構(gòu),如 ELMo 、BERT、GPT-2.0、XLNet,則利用兩階段(基于自編碼的預(yù)訓(xùn)練加基于任務(wù)的調(diào)優(yōu))模式,能夠以自監(jiān)督的方式更好地利用大規(guī)模的無標(biāo)注語料訓(xùn)練不同句子結(jié)構(gòu)中詞語之間的關(guān)系,并且突破傳統(tǒng)線性序列結(jié)構(gòu)中存在的難以建立長距離、雙向依賴關(guān)系的問題,學(xué)習(xí)到質(zhì)量更高的中間語言模型,再通過調(diào)優(yōu)就能在文本生成、閱讀理解、文本分類、信息檢索、序列標(biāo)注等多個任務(wù)上取得當(dāng)前最為領(lǐng)先的準(zhǔn)確率。

以機(jī)器閱讀理解任務(wù)為例,在 SQuAD1.0 數(shù)據(jù)集上,BERT 和 XLNet 都已大幅超越人類的 91.22(F1分),分別達(dá)到了 93.16 和 95.08;在更加復(fù)雜的 SQuAD2.0 數(shù)據(jù)集上,XLNet 也已經(jīng)達(dá)到了 89.13。

又如在 2019 年 3 月舉行的第十四屆 NTCIR 上,短文本情感對話任務(wù)(STC3)提出的要求是:中文回答不僅需要內(nèi)容合理,語句流暢,而且需要情感合宜。例如,如果用戶說“我的貓昨天去世了”,如果機(jī)器人想表達(dá)悲傷的情感,那么最合適的回答可能是“這太悲傷了,很抱歉聽到”,但如果想表達(dá)安慰的情感,則應(yīng)該說 “壞事永遠(yuǎn)發(fā)生,我希望你會快樂”。對情感表達(dá)要求的增加,無疑增加了難度。

而在這個比賽中,一覽群智和人民大學(xué)信息學(xué)院聯(lián)合組成的團(tuán)隊(duì)獲得了冠軍,其使用的方法便是基于 Transformer 改進(jìn)的網(wǎng)絡(luò)模型,以情感識別、情感領(lǐng)域?qū)υ捵幽P?、集成學(xué)習(xí)等方法相結(jié)合,擊敗了十幾支強(qiáng)勁對手。類似的探索,讓 AI 在特定任務(wù)下的認(rèn)知能力,朝著人類水平一步步發(fā)展。

認(rèn)知智能進(jìn)入快車道

自然語言處理領(lǐng)域的發(fā)展雖然比計算機(jī)視覺和語音領(lǐng)域滯后幾年,但是我們看到自然語言處理已經(jīng)進(jìn)入快車道。近兩年來語言模型上的飛速進(jìn)步,讓我們感受到之前制約自然語言處理和文本分析發(fā)展的主要難點(diǎn),正在被更好的模型結(jié)構(gòu)、訓(xùn)練和使用方法、更大的算力逐漸克服。為自然語言任務(wù)加入“常識”,也是另一個新興重要探索方向,這個方向則與知識圖譜技術(shù)緊密結(jié)合。

我們正處于認(rèn)知智能的黃金發(fā)展期,新技術(shù)的出現(xiàn)與逐步成熟,使得更多行業(yè)的應(yīng)用場景變得可能。一覽群智一直在探索認(rèn)知智能的基礎(chǔ)技術(shù)發(fā)展與前沿行業(yè)應(yīng)用,圍繞自然語言處理技術(shù)的變與不變,在這個過程中有著自己的思考和總結(jié),并且通過智語這個核心技術(shù)產(chǎn)品,給出自己的答案。就像 BERT、GPT-2.0、XLNet 在兩階段范式上的殊途同歸,我們也認(rèn)為基礎(chǔ)語言模型在不同任務(wù)上可以存在一些不變性,但在不同場景中一定要做特殊語料與任務(wù)下的調(diào)優(yōu)與適配。出于對文本信號特性的理解和自然語言處理技術(shù)發(fā)展階段的認(rèn)識,我們構(gòu)建認(rèn)知智能核心產(chǎn)品智語平臺的思路,也是圍繞這種變與不變在展開。

“智語” 自然語言處理平臺的智能流程

但認(rèn)知智能在金融、公安、媒體等場景中的變化部分給 AI 廠商帶來的挑戰(zhàn)非常明顯。一個算法往往在不同場景下要利用不同的標(biāo)注語料去形成不同的模型,一個媒體場景的 10 類新聞分類模型,無法給另一個媒體的 12 類分類體系使用。

為了解決數(shù)據(jù)標(biāo)注難、封閉環(huán)境下模型訓(xùn)練難、部署難等問題,一覽群智的智語平臺提供了標(biāo)注管理、智能標(biāo)注加速、自然語言處理、文本模型訓(xùn)練、一鍵部署等端到端功能,提升了團(tuán)隊(duì)在應(yīng)對不同場景時的效率與效果。例如智能標(biāo)注加速功能,利用主動學(xué)習(xí)的先進(jìn)技術(shù),將訓(xùn)練一個分類或者序列標(biāo)注模型的標(biāo)注量有效降低至原有的 30%-50%,同時保證模型性能基本不變;加上平臺高效能的標(biāo)注管理,總體效率提升可達(dá)數(shù)倍。而傻瓜式的訓(xùn)練和部署,使得初級團(tuán)隊(duì)成員通過短期培訓(xùn)也能有效形成 AI 的生產(chǎn)力。

“智語” 自然語言處理平臺端到端流程方案

結(jié)語

回顧 AI 連接主義學(xué)派復(fù)興的十年,就像一個螺旋梯,算法與算力應(yīng)用相互促進(jìn)、不斷攀升。在見證 ImageNet 圖像分類錯誤率從 30% 一路降低到 2%左右;見證 AlphaGo 擊敗樊輝、李世石、柯潔之后,我們開始見證基于 BERT/GPT-2.0/XLNet 在閱讀理解任務(wù)超越人類。十年后再回顧,會發(fā)現(xiàn)今天之于自然語言處理,也許恰如 2014 年之于人臉識別。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1806

    文章

    49028

    瀏覽量

    249533
  • 計算機(jī)視覺
    +關(guān)注

    關(guān)注

    9

    文章

    1709

    瀏覽量

    46780

原文標(biāo)題:從發(fā)展滯后到不斷突破,NLP已成為AI又一燃爆點(diǎn)?

文章出處:【微信號:iawbs2016,微信公眾號:寬禁帶半導(dǎo)體技術(shù)創(chuàng)新聯(lián)盟】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    人工智能推理及神經(jīng)處理的未來

    人工智能行業(yè)所圍繞的是受技術(shù)進(jìn)步、社會需求和監(jiān)管政策影響的動態(tài)環(huán)境。機(jī)器學(xué)習(xí)、自然語言處理和計算機(jī)視覺方面的技術(shù)進(jìn)步,加速了
    的頭像 發(fā)表于 12-23 11:18 ?595次閱讀
    <b class='flag-5'>人工智能</b>推理及神經(jīng)<b class='flag-5'>處理</b>的未來

    如何優(yōu)化自然語言處理模型的性能

    優(yōu)化自然語言處理(NLP)模型的性能是多方面的任務(wù),涉及數(shù)據(jù)預(yù)處理、特征工程、模型選擇、模型調(diào)參、模型集成與融合等多個環(huán)節(jié)。以下是
    的頭像 發(fā)表于 12-05 15:30 ?1704次閱讀

    自然語言處理與機(jī)器學(xué)習(xí)的關(guān)系 自然語言處理的基本概念及步驟

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能語言學(xué)領(lǐng)域的
    的頭像 發(fā)表于 12-05 15:21 ?1987次閱讀

    語音識別與自然語言處理的關(guān)系

    人工智能的快速發(fā)展,語音識別和自然語言處理(NLP)成為了兩重要的技術(shù)支柱。語音識別技術(shù)使得機(jī)器能夠理解人類的語音,而
    的頭像 發(fā)表于 11-26 09:21 ?1506次閱讀

    什么是LLM?LLM在自然語言處理的應(yīng)用

    隨著人工智能技術(shù)的飛速發(fā)展,自然語言處理(NLP)領(lǐng)域迎來了革命性的進(jìn)步。其中,大型語言模型(LLM)的出現(xiàn),標(biāo)志著我們對語言理解能力的
    的頭像 發(fā)表于 11-19 15:32 ?3657次閱讀

    ASR與自然語言處理的結(jié)合

    ASR(Automatic Speech Recognition,自動語音識別)與自然語言處理(NLP)是人工智能領(lǐng)域的兩重要分支,它們在許多應(yīng)用
    的頭像 發(fā)表于 11-18 15:19 ?1026次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)在自然語言處理的應(yīng)用

    自然語言處理人工智能領(lǐng)域的重要分支,它致力于使計算機(jī)能夠理解、解釋和生成人類語言。隨著深度
    的頭像 發(fā)表于 11-15 14:58 ?807次閱讀

    循環(huán)神經(jīng)網(wǎng)絡(luò)在自然語言處理的應(yīng)用

    自然語言處理(NLP)是人工智能領(lǐng)域的重要分支,它致力于使計算機(jī)能夠理解、解釋和生成人類語言
    的頭像 發(fā)表于 11-15 09:41 ?816次閱讀

    嵌入式和人工智能究竟是什么關(guān)系?

    、連接主義和深度學(xué)習(xí)等不同的階段。目前,人工智能已經(jīng)廣泛應(yīng)用于各種領(lǐng)域,如自然語言處理、計算機(jī)視覺、智能
    發(fā)表于 11-14 16:39

    使用LSTM神經(jīng)網(wǎng)絡(luò)處理自然語言處理任務(wù)

    自然語言處理(NLP)是人工智能領(lǐng)域的重要分支,它旨在使計算機(jī)能夠理解、解釋和生成人類語言
    的頭像 發(fā)表于 11-13 09:56 ?1161次閱讀

    自然語言處理與機(jī)器學(xué)習(xí)的區(qū)別

    人工智能的快速發(fā)展,自然語言處理(NLP)和機(jī)器學(xué)習(xí)(ML)成為了兩核心的研究領(lǐng)域。它們都致力于解決復(fù)雜的問題,但側(cè)重點(diǎn)和應(yīng)用場景有所
    的頭像 發(fā)表于 11-11 10:35 ?1551次閱讀

    LLM技術(shù)對人工智能發(fā)展的影響

    。 、LLM技術(shù)在人工智能領(lǐng)域的應(yīng)用 自然語言處理(NLP) LLM技術(shù)在自然語言處理領(lǐng)域發(fā)揮
    的頭像 發(fā)表于 11-08 09:28 ?1855次閱讀

    使用LLM進(jìn)行自然語言處理的優(yōu)缺點(diǎn)

    自然語言處理(NLP)是人工智能語言學(xué)領(lǐng)域的分支,它致力于使計算機(jī)能夠理解、解釋和生成人類
    的頭像 發(fā)表于 11-08 09:27 ?2458次閱讀

    Llama 3 在自然語言處理的優(yōu)勢

    自然語言處理(NLP)的快速發(fā)展,我們見證了從基于規(guī)則的系統(tǒng)到基于機(jī)器學(xué)習(xí)的模型的轉(zhuǎn)變。隨著深度學(xué)習(xí)技術(shù)的興起,NLP領(lǐng)域迎來了新的突破。Llama 3,作為
    的頭像 發(fā)表于 10-27 14:22 ?731次閱讀

    AI智能化問答:自然語言處理技術(shù)的重要應(yīng)用

    自然語言處理(NLP)是人工智能領(lǐng)域的重要分支,它致力于使計算機(jī)能夠理解、解釋和生成人類語言
    的頭像 發(fā)表于 10-12 10:58 ?1096次閱讀
    AI<b class='flag-5'>智能</b>化問答:<b class='flag-5'>自然語言</b><b class='flag-5'>處理</b>技術(shù)的重要應(yīng)用