一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

AI大模型帶來改變,將加速通用人工智能的實現(xiàn)!

Carol Li ? 來源:電子發(fā)燒友網(wǎng) ? 作者:李彎彎 ? 2023-02-28 01:43 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報道(文/李彎彎)近日,百度飛槳總架構(gòu)師于佃海公開談到,AI預(yù)訓(xùn)練大模型是深度學(xué)習(xí)崛起以來,最重要的一次技術(shù)變革。

大模型不只是模型參數(shù)規(guī)模大,同時也對應(yīng)著學(xué)習(xí)機制和AI開發(fā)應(yīng)用范式的改變。自監(jiān)督學(xué)習(xí)模式突破了數(shù)據(jù)標注的困境,可以從海量數(shù)據(jù)中學(xué)習(xí)到豐富的通用知識。

基于大模型,只需要通過模型的微調(diào)或提示等方式,就可以在廣泛的下游任務(wù)中取得優(yōu)異的效果,極大的降低了AI開發(fā)和應(yīng)用的成本。

大語言模型的涌現(xiàn)能力

在自然語言處理領(lǐng)域,過去這些年模型的規(guī)模越來越多。之前模型參數(shù)大概在千萬級別、億級別,現(xiàn)在已經(jīng)跳到了千億級別。基本上游研究這些大模型的使一些計算資源比較豐富的企業(yè)和機構(gòu),有了這些預(yù)訓(xùn)練模型之后,下游可以把它放在一些自然語言處理的任務(wù)中。

在全球人工智能開發(fā)者先鋒大會上,復(fù)旦大學(xué)計算機學(xué)院教授邱錫鵬在《ChatGPT能力分析與應(yīng)用》主題演講中表示,大型語言模型是ChatGPT的基座。

邱錫鵬教授談到,當(dāng)模型從小規(guī)模發(fā)展到大規(guī)模的時候,當(dāng)發(fā)展到一定階段,它會涌現(xiàn)出一些之前在小模型上觀測不到的能力,也就是大家說的能力涌現(xiàn)。比如給幾個樣例,讓模型學(xué)習(xí)這個任務(wù),一個百億級別參數(shù)規(guī)模的模型和一個千億級別參數(shù)的模型,這兩個模型的能力差異會相當(dāng)大,邱錫鵬教授認為,從百億到千億參數(shù)規(guī)模,模型發(fā)生了能力的突變。

考察大模型的幾個能力:數(shù)學(xué)建模能力、多任務(wù)理解的能力、上下文的學(xué)習(xí)理解能力,在百億規(guī)模之后,就會發(fā)生突變。它的能力不再是線性增長。

模型使用的方式也發(fā)生了變換,因為有了大模型之后,調(diào)參非常難,它的使用范式也會發(fā)生變化。比如,早期使用預(yù)訓(xùn)練,調(diào)它的參數(shù);現(xiàn)在語言模型很大的時候,要做什么任務(wù),就是提示,告訴它要做什么,變成了另外一種使用范式。

舉個例子,我們把要完成的任務(wù),用一句話描述出來,輸入給語言模型,語言模型就按產(chǎn)生下一句話的方式,生成你要的答案。這就是大型語言模型的使用方式。邱錫鵬教授認為,在Transformer這種架構(gòu)下,大型語言模型標志性的分水嶺是百億規(guī)模參數(shù)。

以ChatGPT為例,在大模型下,ChatGPT涌現(xiàn)出的三種能力:情景學(xué)習(xí)、思維鏈和指令學(xué)習(xí)。這三個能力對ChatGPT最終的成功起到了重要作用。

情景學(xué)習(xí):大模型調(diào)參不是很方便,如果要它在一個上下文語境中完成學(xué)習(xí),這就叫情景學(xué)習(xí)。也就是給它一個任務(wù),再給它幾個例子,讓它學(xué)習(xí)。情景學(xué)習(xí)賦予了大模型非常強的交互能力,情景學(xué)習(xí)也可以大幅降低下游的開發(fā)成本。

思維鏈:思維鏈的關(guān)鍵是打破了Scaling Law,一般而言,模型規(guī)模的放大通常會帶來能力的提升。而思維鏈的出現(xiàn),使得在一定規(guī)模之后,可以通過思維鏈繼續(xù)放大模型的能力,而不需要進一步擴大參數(shù)規(guī)模。

指令學(xué)習(xí):大模型達到一定規(guī)模之后,只需要給它少數(shù)的指令,它就學(xué)會了,對于沒見過的指令,它也會。這些就是大模型的涌現(xiàn)能力,它的泛化能力會變得非常強。

文圖生成主要技術(shù)路線

在ChatGPT出現(xiàn)之前,大模型最火的應(yīng)用就是AI作畫,也就是文圖生成。事實上,文圖生成技術(shù)從2015年到現(xiàn)在,一直在不斷演進。據(jù)百度深圳自然語言處理部技術(shù)總監(jiān)何徑舟在上述大會上介紹,這之間,文圖生成技術(shù)大概經(jīng)歷了三個技術(shù)流派。

pYYBAGP8gCWAHRp6AAY-E2gURYU767.png

第一個是以對抗生成網(wǎng)絡(luò)GAN-based為主的早期技術(shù);第二個是序列生成 VQ-token-based這種方式 ;第三個是從去年開始大熱的Diffusion-based擴散網(wǎng)絡(luò)這種方案?,F(xiàn)在常見的、在很多產(chǎn)品中使用的,都是這三個技術(shù)流派的延續(xù)或結(jié)合。

基于GAN的文本-圖像生成模型,是四五年前最火的文圖生成技術(shù)。它的優(yōu)點是,整個模型的生成過程很快,在當(dāng)時來看,生成的圖像質(zhì)量相當(dāng)不錯;然而它致命的缺點是,網(wǎng)絡(luò)特別難訓(xùn)練,稍不小心就會訓(xùn)練壞,或者難以得到理想的效果。因此在之后的工作中,大家就不太實用了。

基于圖像量化的序列建模。它是把圖像基于離散化的方式,壓縮成離散視覺token的序列,這樣可以跟文本用類似的方式基于Transformer自回歸生成,建模文本序列和圖像序列間的關(guān)系。通過這樣的方式,做文圖轉(zhuǎn)換,也可以做圖像文本的生成。何徑舟表示,文心大模型ERNIE-ViLG第一個版本就是基于VQ-token-based這種方式做的,在當(dāng)時ERNIE-ViLG能夠完成雙向的生成和建模。

基于擴散模型的文本-圖像生成模型,是現(xiàn)在文圖生成技術(shù)的主流。它是把一個圖像通過加高斯噪聲的方式,一直到純隨機序列高斯噪音的分布。再通過UNet,不斷反復(fù)調(diào)用它,把這個圖像還原回來。這時候可以把文本的encoder加進去,指導(dǎo)圖像還原過程。這樣就實現(xiàn)了從文本到圖像的生成過程。這是現(xiàn)在絕大多數(shù)最新產(chǎn)品和技術(shù)都采用的方案,效果非常好。

小結(jié)

過去這些年,國內(nèi)外在大模型技術(shù)的研究方面不斷取得突破,最近ChatGPT的出現(xiàn)及其體現(xiàn)出的驚人能力,更是讓人們體會到了大模型對于人工智能發(fā)展的重要意義。從種種跡象來看,疊加情景學(xué)習(xí)、指令微調(diào)、人類反饋、強化學(xué)習(xí)等機制,可以使大模型實現(xiàn)超出想象的能力涌現(xiàn),讓人們期待的通用人工智能的實現(xiàn)加速。



聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    88

    文章

    34906

    瀏覽量

    277823
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3106

    瀏覽量

    4002
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    最新人工智能硬件培訓(xùn)AI 基礎(chǔ)入門學(xué)習(xí)課程參考2025版(大模型篇)

    人工智能模型重塑教育與社會發(fā)展的當(dāng)下,無論是探索未來職業(yè)方向,還是更新技術(shù)儲備,掌握大模型知識都已成為新時代的必修課。從職場上輔助工作的智能助手,到課堂用于學(xué)術(shù)研究的
    發(fā)表于 07-04 11:10

    Cognizant將與NVIDIA合作部署神經(jīng)人工智能平臺,加速企業(yè)人工智能應(yīng)用

    -Cognizant將與NVIDIA合作部署神經(jīng)人工智能平臺,加速企業(yè)人工智能應(yīng)用 Cognizant將在關(guān)鍵增長領(lǐng)域提供解決方案,包括企業(yè)級AI
    的頭像 發(fā)表于 03-26 14:42 ?293次閱讀
    Cognizant將與NVIDIA合作部署神經(jīng)<b class='flag-5'>人工智能</b>平臺,<b class='flag-5'>加速</b>企業(yè)<b class='flag-5'>人工智能</b>應(yīng)用

    智慧路燈如何應(yīng)用人工智能技術(shù)

    叁仟智慧路燈通過整合人工智能AI)技術(shù),顯著提升了城市的智能化程度,為城市管理工作帶來了諸多便利。以下詳細闡述叁仟智慧路燈在應(yīng)
    的頭像 發(fā)表于 03-07 09:18 ?401次閱讀
    智慧路燈如何應(yīng)<b class='flag-5'>用人工智能</b>技術(shù)

    嵌入式和人工智能究竟是什么關(guān)系?

    人工智能的結(jié)合,無疑是科技發(fā)展中的一場革命。在人工智能硬件加速中,嵌入式系統(tǒng)以其獨特的優(yōu)勢和重要性,發(fā)揮著不可或缺的作用。通過深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)等算法,嵌入式系統(tǒng)能夠高效地處理大量數(shù)據(jù),從而
    發(fā)表于 11-14 16:39

    AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第6章人AI與能源科學(xué)讀后感

    幸得一好書,特此來分享。感謝平臺,感謝作者。受益匪淺。 在閱讀《AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》的第6章后,我深刻感受到人工智能在能源科學(xué)領(lǐng)域中的巨大潛力和廣泛應(yīng)用。這一章詳細
    發(fā)表于 10-14 09:27

    AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第4章-AI與生命科學(xué)讀后感

    。 4. 對未來生命科學(xué)發(fā)展的展望 在閱讀這一章后,我對未來生命科學(xué)的發(fā)展充滿了期待。我相信,在人工智能技術(shù)的推動下,生命科學(xué)取得更加顯著的進展。例如,在藥物研發(fā)領(lǐng)域,AI技術(shù)幫助
    發(fā)表于 10-14 09:21

    AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第二章AI for Science的技術(shù)支撐學(xué)習(xí)心得

    非常高興本周末收到一本新書,也非常感謝平臺提供閱讀機會。 這是一本挺好的書,包裝精美,內(nèi)容詳實,干活滿滿。 關(guān)于《AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第二章“AI
    發(fā)表于 10-14 09:16

    AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第一章人工智能驅(qū)動的科學(xué)創(chuàng)新學(xué)習(xí)心得

    ,無疑為讀者鋪設(shè)了一條探索人工智能AI)如何深刻影響并推動科學(xué)創(chuàng)新的道路。在閱讀這一章后,我深刻感受到了人工智能技術(shù)在科學(xué)領(lǐng)域的廣泛應(yīng)用潛力以及其帶來的革命性變化,以下是我個人的學(xué)習(xí)
    發(fā)表于 10-14 09:12

    人工智能ai 數(shù)電 模電 模擬集成電路原理 電路分析

    人工智能ai 數(shù)電 模電 模擬集成電路原理 電路分析 想問下哪些比較容易學(xué) 不過好像都是要學(xué)的
    發(fā)表于 09-26 15:24

    人工智能ai4s試讀申請

    目前人工智能在繪畫對話等大模型領(lǐng)域應(yīng)用廣闊,ai4s也是方興未艾。但是如何有效利用ai4s工具助力科研是個需要研究的課題,本書對ai4s基本
    發(fā)表于 09-09 15:36

    名單公布!【書籍評測活動NO.44】AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新

    ! 《AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》 這本書便將為讀者徐徐展開AI for Science的美麗圖景,與大家一起去了解: 人工智能究竟幫科學(xué)家做了什么?
    發(fā)表于 09-09 13:54

    報名開啟!深圳(國際)通用人工智能大會將啟幕,國內(nèi)外大咖齊聚話AI

    8月28日至30日,2024深圳(國際)通用人工智能大會暨深圳(國際)通用人工智能產(chǎn)業(yè)博覽會將在深圳國際會展中心(寶安)舉辦。大會以“魅力AI·無限未來”為主題,致力于打造全球通用人工智能
    發(fā)表于 08-22 15:00

    阿丘科技成功入選“北京市通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴計劃”,AI+工業(yè)視覺實力再獲肯定

    成式AI技術(shù)、垂直行業(yè)視覺大模型等創(chuàng)新探索,成功入選“應(yīng)用伙伴”。聚焦AI+工業(yè)場景,入選應(yīng)用伙伴“北京市通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴計劃”由北京市經(jīng)濟和信息化局、北京
    的頭像 發(fā)表于 07-16 08:25 ?813次閱讀
    阿丘科技成功入選“北京市<b class='flag-5'>通用人工智能</b>產(chǎn)業(yè)創(chuàng)新伙伴計劃”,<b class='flag-5'>AI</b>+工業(yè)視覺實力再獲肯定

    千方科技成功入選“北京市通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴計劃”

    日前,“2024全球數(shù)字經(jīng)濟大會人工智能專題論壇”在京舉辦,會上正式發(fā)布了新一批“北京市通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴計劃”成員名單(以下簡稱“伙伴計劃”)。千方科技憑借在交通、物聯(lián)、城市治理等關(guān)鍵場景中
    的頭像 發(fā)表于 07-09 09:26 ?898次閱讀
    千方科技成功入選“北京市<b class='flag-5'>通用人工智能</b>產(chǎn)業(yè)創(chuàng)新伙伴計劃”

    人工智能模型有哪些

    人工智能(Artificial Intelligence, AI)作為21世紀最具影響力的技術(shù)之一,正以前所未有的速度改變著我們的生活、工作乃至整個社會結(jié)構(gòu)。AI
    的頭像 發(fā)表于 07-04 17:28 ?2049次閱讀