所謂AI大模型就是人工智能預(yù)訓(xùn)練模型，包含三大要素：大算力、強(qiáng)算法、大數(shù)據(jù)。大模型相當(dāng)于人工智能的土壤，沒(méi)有大模型支持，就不會(huì)有AI的成功。

AI大模型戰(zhàn)場(chǎng)上，國(guó)外的OpenAI、谷歌、微軟等大廠正打得火熱；國(guó)內(nèi)以百度、阿里、華為、騰訊為代表的科技巨頭，科大訊飛、智譜AI、商湯科技等AI公司，三大運(yùn)營(yíng)商，以及智源研究院、中科院等學(xué)術(shù)/研究機(jī)構(gòu)都紛紛投身AI大模型浪潮。

從全球已經(jīng)發(fā)布的大模型分布來(lái)看，中美兩國(guó)數(shù)量合計(jì)占全球總數(shù)的超 80%，美國(guó)在大模型數(shù)量方面居全球之首。有專(zhuān)家披露，據(jù)不完全統(tǒng)計(jì)，目前中國(guó) 10 億參數(shù)規(guī)模以上的大模型已發(fā)布 79 個(gè)。

下面一起看看在“百模大戰(zhàn)”下，有哪些橫空出世的AI大模型！

國(guó)內(nèi)戰(zhàn)場(chǎng)

百度：文心大模型

2017年，在百度首屆AI開(kāi)發(fā)者大會(huì)上，百度喊出了“All in AI”口號(hào)，隨后圍繞著AI進(jìn)行了技術(shù)研發(fā)投入。得益于在人工智能領(lǐng)域的長(zhǎng)期投入，百度在人工智能四層架構(gòu)，也就是“芯片層、框架層、模型層、應(yīng)用層”有著全棧的布局。

在芯片層，百度昆侖芯科技已實(shí)現(xiàn)兩代通用 AI芯片“昆侖”的量產(chǎn)及應(yīng)用，為大模型落地提供強(qiáng)大算力支持。

在框架層，“飛槳”是國(guó)內(nèi)首個(gè)自主研發(fā)的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái)，集基礎(chǔ)模型庫(kù)、端到端開(kāi)發(fā)套件和工具組件于一體，有效支持文心大模型高效、穩(wěn)定訓(xùn)練。

在模型層，“文心大模型”包括基礎(chǔ)大模型、任務(wù)大模型、行業(yè)大模型三級(jí)體系，全面滿足產(chǎn)業(yè)應(yīng)用需求。

在應(yīng)用層，文心已大規(guī)模應(yīng)用于百度自有業(yè)務(wù)的各類(lèi)產(chǎn)品，并通過(guò)企業(yè)級(jí)平臺(tái)“文心千帆”進(jìn)一步推動(dòng)生態(tài)構(gòu)建。

文心大模型包括 NLP 大模型、CV 大模型、跨模態(tài)大模型、生物計(jì)算大模型和行業(yè)大模型。目前，文心大模型已經(jīng)迭代至3.5版本，與3.0版本相比，訓(xùn)練速度提升了2倍，推理速度提升了17倍，模型效果累計(jì)提升超過(guò)50%。據(jù)百度官方表示，文心一言大模型的訓(xùn)練數(shù)據(jù)包括了萬(wàn)億級(jí)網(wǎng)頁(yè)數(shù)據(jù)、數(shù)十億的搜索數(shù)據(jù)和圖片數(shù)據(jù)、百億級(jí)的語(yǔ)音日均調(diào)用數(shù)據(jù)，以及5500億事實(shí)的知識(shí)圖譜等。

騰訊：混元大模型

基于騰訊強(qiáng)大的底層算力和低成本的高速網(wǎng)絡(luò)基礎(chǔ)設(shè)施，2022 年底騰訊發(fā)布了低成本、可落地的NLP萬(wàn)億大模型——混元（HunYuan）AI 大模型。

混元AI大模型采用騰訊太極機(jī)器學(xué)習(xí)平臺(tái)自研的訓(xùn)練框架AngelPTM，相比業(yè)界主流的解決方案，太極AngelPTM單機(jī)可容納的模型可達(dá)55B，20個(gè)節(jié)點(diǎn)（A100-40Gx8）可容納萬(wàn)億規(guī)模模型，節(jié)省45%訓(xùn)練資源，并在此基礎(chǔ)上訓(xùn)練速度提升1倍！

在模型層，混元大模型完整覆蓋 NLP 大模型、 CV 大模型、多模態(tài)大模型、文生圖大模型及眾多行業(yè)/領(lǐng)域/任務(wù)模型。其中，HunYuan-NLP 1T 的模型能力在自然語(yǔ)言理解任務(wù)榜單 CLUE 中登頂。

| 混元大模型全景圖

在產(chǎn)業(yè)化方面，混元先后支持了包括微信、QQ、游戲、騰訊廣告、騰訊云等眾多產(chǎn)品和業(yè)務(wù)，通過(guò) NLP、CV、跨模態(tài)等 AI 大模型，不僅為業(yè)務(wù)創(chuàng)造了增量?jī)r(jià)值而且降低了使用成本。特別是其在廣告內(nèi)容理解、行業(yè)特征挖掘、文案創(chuàng)意生成等方面的應(yīng)用，在為騰訊廣告帶來(lái)大幅 GMV 提升的同時(shí)，也初步驗(yàn)證了大模型的商業(yè)化潛力。

阿里：通義大模型

2022年9月，阿里達(dá)摩院發(fā)布通義大模型系列。該模型打造了AI統(tǒng)一底座，并構(gòu)建了通用與專(zhuān)業(yè)模型協(xié)同的層次化人工智能體系，首次實(shí)現(xiàn)模態(tài)表示、任務(wù)表示、模型結(jié)構(gòu)的統(tǒng)一。通義大模型整體架構(gòu)分為三個(gè)層次：

模型底座層：多模態(tài)統(tǒng)一底座模型 M6-OFA，實(shí)現(xiàn)統(tǒng)一的學(xué)習(xí)范式和模塊化設(shè)計(jì)；

通用模型層：多模態(tài)模型“通義-M6”、NLP 模型“通義-AliceMind”以及 CV 模型“通義-視覺(jué)”；

行業(yè)模型層：深入電商、醫(yī)療、法律、金融、娛樂(lè)等行業(yè)。

通過(guò)部署超大模型的輕量化及專(zhuān)業(yè)模型版本，通義大模型已在超過(guò) 200 個(gè)場(chǎng)景中提供服務(wù)， 實(shí)現(xiàn) 2%～10%的應(yīng)用效果提升。在搜索場(chǎng)景中，可實(shí)現(xiàn)以文搜圖的跨模態(tài)搜索。在 AI 輔助審判中，可實(shí)現(xiàn)司法卷宗的事件抽取、文書(shū)分類(lèi)等任務(wù)效果 3～5%的提升。在人機(jī)對(duì)話領(lǐng)域，初步具備知識(shí)、記憶、情感以及個(gè)性的中文開(kāi)放域?qū)υ挻竽Ｐ涂蓪?shí)現(xiàn)主動(dòng)對(duì)話、廣泛話題、緊跟熱點(diǎn)等對(duì)話體驗(yàn)。此外，通義大模型在 AI 輔助設(shè)計(jì)、醫(yī)療文本理解等其他領(lǐng)域也有豐富的應(yīng)用場(chǎng)景。

在近期的2023世界人工智能大會(huì)上，阿里宣布推出通義大模型家族新成員“通義萬(wàn)相”。這是一款A(yù)I繪畫(huà)模型，支持文生圖等功能，它能夠通過(guò)機(jī)器學(xué)習(xí)和自然語(yǔ)言處理技術(shù)，從文本描述中生成對(duì)應(yīng)的圖片或畫(huà)作。

華為：盤(pán)古大模型

2021年4月華為正式發(fā)布盤(pán)古系列大模型，包括NLP、CV和科學(xué)計(jì)算大模型，后續(xù)還發(fā)布了礦山、藥物分子、氣象、海浪等行業(yè)大模型。

其中，盤(pán)古NLP大模型首次使用Encoder-Decoder架構(gòu)，兼顧NLP大模型的理解能力和生成能力，保證了模型在不同系統(tǒng)中的嵌入靈活性。在下游應(yīng)用中，僅需少量樣本和可學(xué)習(xí)參數(shù)即可完成千億規(guī)模大模型的快速微調(diào)和下游適配。而盤(pán)古CV大模型則是首次實(shí)現(xiàn)模型按需抽取的業(yè)界最大CV大模型，兼顧判別與生成能力，能夠基于模型大小和運(yùn)行速度需求，自適應(yīng)抽取不同規(guī)模模型，AI應(yīng)用開(kāi)發(fā)快速落地。

在7月7日的華為開(kāi)發(fā)者大會(huì)2023上，盤(pán)古大模型3.0正式發(fā)布。盤(pán)古大模型 3.0 是一個(gè)完全面向行業(yè)的大模型系列，包括 5+N+X 三層架構(gòu)：

L0 基礎(chǔ)大模型：包括自然語(yǔ)言大模型、視覺(jué)大模型、多模態(tài)大模型、預(yù)測(cè)大模型、科學(xué)計(jì)算大模型在內(nèi)的5個(gè)基礎(chǔ)大模型。盤(pán)古 3.0 為客戶(hù)提供 100 億參數(shù)、380 億參數(shù)、710 參數(shù)和 1000 億參數(shù)的系列化基礎(chǔ)大模型，匹配客戶(hù)不同場(chǎng)景、不同時(shí)延、不同響應(yīng)速度的行業(yè)多樣化需求。

L1 行業(yè)大模型：涵蓋N 個(gè)行業(yè)大模型，既可以提供使用行業(yè)公開(kāi)數(shù)據(jù)訓(xùn)練的行業(yè)通用大模型，包括政務(wù)，金融，制造，礦山，氣象等；也可以基于行業(yè)客戶(hù)的自有數(shù)據(jù)，在盤(pán)古的 L0 和 L1 上，為客戶(hù)訓(xùn)練自己的專(zhuān)有大模型。

L2 場(chǎng)景模型：為客戶(hù)提供更多細(xì)化場(chǎng)景，它更加專(zhuān)注于某個(gè)具體的應(yīng)用場(chǎng)景或特定業(yè)務(wù)，為客戶(hù)提供開(kāi)箱即用的模型服務(wù)。

網(wǎng)易：玉言、子曰大模型

在2023世界人工智能大會(huì)上，網(wǎng)易多款A(yù)I大模型落地產(chǎn)品首次亮相，集中展示了在人工智能基礎(chǔ)設(shè)施層、引擎層、平臺(tái)層、模型層、應(yīng)用層的領(lǐng)先創(chuàng)新成果。會(huì)上，由網(wǎng)易有道自研的首個(gè)教育大模型“子曰”最新應(yīng)用成果——虛擬人口語(yǔ)教練首次亮相。

除了口語(yǔ)訓(xùn)練外，據(jù)悉“子曰”大模型系列應(yīng)用成果還包括中文作文指導(dǎo)與批改、英語(yǔ)習(xí)題精講等多種教育領(lǐng)域細(xì)分應(yīng)用?！白釉弧贝竽Ｐ湍軌蜃鳛榛Ｐ椭С趾芏嘞掠稳蝿?wù)，為所有下游場(chǎng)景模型提供語(yǔ)義理解、知識(shí)表達(dá)等基礎(chǔ)能力，是有道AI產(chǎn)品體系的核心。有道研發(fā)團(tuán)隊(duì)在子曰大模型的基礎(chǔ)上，會(huì)為不同場(chǎng)景設(shè)計(jì)定制化模型，以實(shí)現(xiàn)模型與場(chǎng)景的高度契合。

此前網(wǎng)易伏羲實(shí)驗(yàn)室推出了中文預(yù)訓(xùn)練大模型“玉言”。公開(kāi)資料顯示，“玉言”大模型參數(shù)達(dá)到110億，由浪潮信息提供AI算力支持。“玉言”大模型相關(guān)技術(shù)已用于網(wǎng)易集團(tuán)內(nèi)的文字游戲、智能 NPC、文本輔助創(chuàng)作、音樂(lè)輔助創(chuàng)作、美術(shù)設(shè)計(jì)、互聯(lián)網(wǎng)搜索推薦等業(yè)務(wù)場(chǎng)景。

據(jù)了解，網(wǎng)易AI大模型正在加速覆蓋百余個(gè)產(chǎn)業(yè)應(yīng)用場(chǎng)景，在加速創(chuàng)新應(yīng)用的同時(shí)，網(wǎng)易伏羲有靈眾包平臺(tái)今年還將為10萬(wàn)人提供AI新職業(yè)，包含挖掘機(jī)遠(yuǎn)程駕駛員、AI繪畫(huà)師、AI表情綁定師等人機(jī)協(xié)作的就業(yè)崗位。平臺(tái)還會(huì)根據(jù)求職者的用戶(hù)畫(huà)像，提供針對(duì)性的培訓(xùn)，幫助他們實(shí)現(xiàn)能力和收入的提升。

京東：言犀大模型

京東集團(tuán)技術(shù)委員會(huì)主席、京東云事業(yè)部總裁曹鵬介紹，即將推出的言犀大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型將面向多模態(tài)，深入零售、物流、工業(yè)等產(chǎn)業(yè)場(chǎng)景。言犀是“京東版”ChatGPT，其預(yù)訓(xùn)練參數(shù)達(dá)到千億級(jí)、品類(lèi)覆蓋 3000+、人工審核通過(guò)率95%+、生成文字30億+。

據(jù)悉，新一代京東大模型定位于產(chǎn)業(yè)版本的ChatGPT。該模型的落地應(yīng)用路線圖“125”計(jì)劃也已公布，包括一個(gè)平臺(tái)、兩個(gè)領(lǐng)域和五個(gè)應(yīng)用。其中，一個(gè)平臺(tái)為ChatJD智能人機(jī)對(duì)話平臺(tái)，兩個(gè)領(lǐng)域?yàn)榱闶酆徒鹑冢鍌€(gè)應(yīng)用則包括內(nèi)容生成、人機(jī)對(duì)話、用戶(hù)意圖理解、信息抽取和情感分類(lèi)。

360：360智腦大模型

6月13日，360集團(tuán)舉行360智腦大模型應(yīng)用發(fā)布會(huì)，認(rèn)知型通用大模型“360智腦4.0”亮相，360智腦在多模態(tài)等關(guān)鍵能力上完成迭代，將全面接入“360全家桶”，同時(shí)360AI數(shù)字人正式發(fā)布。

360集團(tuán)創(chuàng)始人周鴻祎介紹，認(rèn)知型通用大模型“360智腦4.0”具備生成與創(chuàng)作、多輪對(duì)話、代碼能力、邏輯與推理、知識(shí)問(wèn)答、閱讀理解、文本分類(lèi)、翻譯、文本改寫(xiě)、多模態(tài)（文本生成圖像）十大核心能力。

周鴻祎表示，今年3月底，360智腦大模型率先落地搜索場(chǎng)景。在隨后不到3個(gè)月時(shí)間內(nèi)，360智腦完成從1.0版本到4.0版本的迭代。下一步，計(jì)劃將360智腦升級(jí)到5.0版本，并發(fā)布插件平臺(tái)。

浪潮：源大模型

源1.0是浪潮信息在2021年發(fā)布的人工智能巨量模型，單體模型參數(shù)量達(dá)到2457億。作為通用NLP預(yù)訓(xùn)練模型，源1.0能夠適應(yīng)多種類(lèi)的AI任務(wù)需求，降低針對(duì)不同應(yīng)用場(chǎng)景的語(yǔ)言模型適配難度，并提升小樣本學(xué)習(xí)與零樣本學(xué)習(xí)場(chǎng)景的模型泛化應(yīng)用能力。

此后，浪潮信息發(fā)布了基于“源1.0”大模型生成的4個(gè)技能大模型（SkillModel），分別為對(duì)話模型“源曉問(wèn)”、問(wèn)答模型“源曉搜”、翻譯模型“源曉譯”、古文模型“源曉文”。這些技能大模型在各自細(xì)分領(lǐng)域的精度業(yè)界領(lǐng)先，可直接應(yīng)用于人機(jī)交互、知識(shí)檢索、語(yǔ)言翻譯和文學(xué)創(chuàng)作等領(lǐng)域，模型運(yùn)行速度最高提升9倍。更重要的是，基于大模型快速生成特定領(lǐng)域的技能大模型（Skill Model），也意味著“源”的AI生產(chǎn)力大幅升級(jí)，能夠幫助商業(yè)組織和研究機(jī)構(gòu)實(shí)現(xiàn)對(duì)AI技術(shù)的高效、快速和低成本應(yīng)用，加速產(chǎn)業(yè)AI化。

浪潮表示，公司在“源”大模型方面的工作在持續(xù)推進(jìn)中。源2.0將會(huì)在文生圖、Chat、多模態(tài)、工具鏈等方面進(jìn)行升級(jí)提升。

科大訊飛：星火認(rèn)知大模型

在多年核心技術(shù)儲(chǔ)備下，科大訊飛于2022年12月15日啟動(dòng)“1+N”認(rèn)知智能大模型專(zhuān)項(xiàng)攻關(guān)，2023年5月6日訊飛星火認(rèn)知大模型正式發(fā)布，涵蓋了文本生成、語(yǔ)言理解、知識(shí)問(wèn)答、邏輯推理等七項(xiàng)核心能力，并持續(xù)迭代于6月9日再次升級(jí)發(fā)布星火認(rèn)知大模型V1.5。

星火認(rèn)知大模型最先應(yīng)用于教育、辦公、汽車(chē)駕駛、數(shù)字員工等場(chǎng)景，升級(jí)產(chǎn)品智能化功能，極大程度改善了用戶(hù)體驗(yàn)。

在教育領(lǐng)域，訊飛星火認(rèn)知大模型+學(xué)習(xí)機(jī)（科大訊飛AI習(xí)機(jī)T20），可以AI寫(xiě)作批改、精細(xì)批改、給優(yōu)化參考，儼然成為學(xué)生的智能家庭教師。在辦公領(lǐng)域，訊飛星火大模型+辦公（訊飛聽(tīng)見(jiàn)、訊飛智能辦公本X2），可以自動(dòng)會(huì)議紀(jì)要、自動(dòng)語(yǔ)篇規(guī)整、一鍵成稿，是職工的智能辦公助理。

在汽車(chē)駕駛領(lǐng)域，訊飛星火認(rèn)知大模型+智能座艙，可以提供多輪、多人、多區(qū)域、多模態(tài)智能汽車(chē)人機(jī)交互范式，強(qiáng)化智能座艙的科技體驗(yàn)感。在數(shù)字員工領(lǐng)域，訊飛星火大模型+數(shù)字員工，優(yōu)化了數(shù)字員工語(yǔ)音和文本交互體驗(yàn)……

近日，科大訊飛高級(jí)副總裁、認(rèn)知智能全國(guó)重點(diǎn)實(shí)驗(yàn)室主任胡國(guó)平公布了訊飛與華為的合作，表示訊飛星火將與昇騰AI強(qiáng)強(qiáng)聯(lián)合，全力打造我國(guó)通用智能新底座?！皣?guó)產(chǎn)大模型只有基于中國(guó)自主創(chuàng)新的算力底座才有大未來(lái)。”

商湯：日日新大模型

4月，商湯科技董事長(zhǎng)兼首席執(zhí)行官徐立宣布推出“日日新SenseNova”大模型體系。這個(gè)體系包含自然語(yǔ)言處理、內(nèi)容生成、自動(dòng)化數(shù)據(jù)標(biāo)注、自定義模型訓(xùn)練等多種大模型及能力。

近日，“商湯日日新SenseNova”大模型體系多方位全面升級(jí)。作為千億級(jí)參數(shù)的自然語(yǔ)言處理模型，商湯商量SenseChat 2.0版本突破了大語(yǔ)言模型輸入長(zhǎng)度的限制，并推出不同參數(shù)量級(jí)的模型版本，可完美適配移動(dòng)端、云端等不同終端及場(chǎng)景的應(yīng)用需求，降低部署成本。商湯的自研生成式大模型商湯秒畫(huà)SenseMirage 3.0的模型參數(shù)從今年4月首次發(fā)布以來(lái)的10億提升至70億量級(jí)，能夠?qū)崿F(xiàn)專(zhuān)業(yè)攝影級(jí)的圖片細(xì)節(jié)刻畫(huà)。

商湯如影SenseAvatar 2.0數(shù)字人生成平臺(tái)相較1.0版本的語(yǔ)音和口型流暢度提升30%以上，實(shí)現(xiàn)4K高清視頻效果，并帶來(lái)AIGC生成形象及數(shù)字人歌唱功能。此外，商湯瓊宇SenseSpace 2.0的空間重建效率提升20%，渲染性能提升50%，每100平方公里場(chǎng)景的建圖時(shí)間僅需38小時(shí)即可完成（1200 TFLOPS/秒算力支持）；而商湯格物SenseThings 2.0對(duì)小物體的紋理及材質(zhì)還原達(dá)到毫米級(jí)精細(xì)度，并突破對(duì)高反光和鏡面物體的采集難題。

智譜AI：智譜AI系列大模型

2022年 11月，斯坦福大學(xué)大模型中心對(duì)全球 30 個(gè)主流大模型進(jìn)行全方位評(píng)測(cè)，智譜 AI研發(fā)的雙語(yǔ)千億級(jí)超大規(guī)模預(yù)訓(xùn)練模型 GLM-130B 是亞洲唯一入選的大模型，測(cè)評(píng)結(jié)果顯示，其準(zhǔn)確性等關(guān)鍵指標(biāo)與 OpenAI、谷歌大腦、微軟和英偉達(dá)等公司的大模型接近或持平，全球已有70個(gè)國(guó)家 1000 余家機(jī)構(gòu)申請(qǐng)使用。

智譜AI語(yǔ)言大模型ChatGLM系列模型，通過(guò)注入代碼預(yù)訓(xùn)練，有監(jiān)督微調(diào)等技術(shù)對(duì)齊人類(lèi)意圖，具備問(wèn)答、多輪對(duì)話、代碼生成等能力；代碼大模型CodeGeeX模型，130億參數(shù)，支持20多種編程語(yǔ)言，具備代碼生成、續(xù)寫(xiě)、翻譯等能力；多模態(tài)大模型CogView模型，基于Transformer架構(gòu)的文本生成圖像模型，支持根據(jù)指令生成和編輯圖像。

ChatGLM 在GLM-130B 上通過(guò)有監(jiān)督微調(diào)等技術(shù)實(shí)現(xiàn)人類(lèi)意圖對(duì)齊，支持英偉達(dá)和華為異騰、海光及申威等***進(jìn)行訓(xùn)練和推理，開(kāi)源的ChatGLM-6B 模型全球下載超過(guò) 160萬(wàn)，持續(xù)兩周位列Huggingface 全球模型趨勢(shì)榜榜首。

據(jù)360官方消息，360 和智譜 AI 達(dá)成戰(zhàn)略合作，打造中國(guó)的“微軟+OpenAI”組合引領(lǐng)大模型技術(shù)攻關(guān)，共同研發(fā)的千億級(jí)大模型“360GLM”。

昆侖萬(wàn)維：天工大模型

4月10日，昆侖萬(wàn)維宣布聯(lián)合奇點(diǎn)智源共同研發(fā)了號(hào)稱(chēng)“中國(guó)第一個(gè)真正實(shí)現(xiàn)智能涌現(xiàn)”的國(guó)產(chǎn)大語(yǔ)言模型——“天工”3.5。

天工作為一款大型語(yǔ)言模型，擁有強(qiáng)大的自然語(yǔ)言處理和智能交互能力，能夠?qū)崿F(xiàn)智能問(wèn)答、聊天互動(dòng)、文本生成等多種應(yīng)用場(chǎng)景，并且具有豐富的知識(shí)儲(chǔ)備，涵蓋科學(xué)、技術(shù)、文化、藝術(shù)、歷史等領(lǐng)域。

據(jù)悉，天工算力基于國(guó)內(nèi)最大的GPU集群之一，其規(guī)模優(yōu)勢(shì)使得天工可通過(guò)海量數(shù)據(jù)進(jìn)行更充分的訓(xùn)練，從而積累更強(qiáng)的理解能力和記憶力。其次，天工采用了雙千億模型——千億預(yù)訓(xùn)練基座模型和千億RLHF模型，這使其具備了更高級(jí)的自主學(xué)習(xí)和智能涌現(xiàn)能力。此外，蒙特卡洛搜索樹(shù)算法使天工可以提供更加人性化的交互體驗(yàn)。這些技術(shù)突破，使得天工在復(fù)雜任務(wù)和場(chǎng)景中能夠快速且準(zhǔn)確地響應(yīng)指令，輸出高質(zhì)量回答。

中國(guó)移動(dòng)：“九天”1+N大模型

2023 年7 月 8 日，中國(guó)移動(dòng)正式發(fā)布 “ 九天 ” 人工智能大模型：九天?海算政務(wù)大模型和九天?客服大模型。目前，九天人工智能平臺(tái)的技術(shù)團(tuán)隊(duì)擁有超過(guò)600名研發(fā)人員。

據(jù)了解，九天?海算政務(wù)大模型具備政務(wù)事項(xiàng)理解能力、多維度信息關(guān)聯(lián)能力、面向復(fù)雜事項(xiàng)和復(fù)雜流程的多元交互能力，首創(chuàng) “ 政務(wù)大模型 — 信息場(chǎng) — 應(yīng)用 ” 端到端政務(wù)服務(wù)體系，可以滿足工作人員動(dòng)態(tài)管理、公文寫(xiě)作等需求。

九天?客服大模型可根據(jù)用戶(hù)提供的自然語(yǔ)言描述，解析問(wèn)題并提供答案；還可與人工客服協(xié)作，分析歷史溝通內(nèi)容的語(yǔ)義和上下文，總結(jié)和歸納對(duì)話的重點(diǎn)和關(guān)鍵信息，為人工客服提供回復(fù)建議。

中國(guó)電信：TeleChat大模型

7月6日，中國(guó)電信數(shù)字智能科技分公司正式對(duì)外發(fā)布中國(guó)電信大語(yǔ)言模型TeleChat，并展示了大模型賦能數(shù)據(jù)中臺(tái)、智能客服和智慧政務(wù)三個(gè)方向的產(chǎn)品。

中國(guó)電信依托云網(wǎng)融合的優(yōu)勢(shì)，打造了中國(guó)電信的大語(yǔ)言模型TeleChat。TeleChat使用了大量高質(zhì)量中英文語(yǔ)料進(jìn)行預(yù)訓(xùn)練，并采用了千萬(wàn)級(jí)問(wèn)答數(shù)據(jù)進(jìn)行微調(diào)。同時(shí)，設(shè)計(jì)了漸進(jìn)膨脹注意力機(jī)制，用于增加模型的間隔采樣，擴(kuò)大實(shí)際感受野；研發(fā)了自校準(zhǔn)微調(diào)技術(shù)，將迭代后相關(guān)性偏差作為強(qiáng)化學(xué)習(xí)的監(jiān)督信號(hào)，提升強(qiáng)化學(xué)習(xí)效果；并且利用知識(shí)圖譜協(xié)同增強(qiáng)策略，通過(guò)知識(shí)圖譜增強(qiáng)大模型的預(yù)訓(xùn)練和推理能力，減少大模型幻覺(jué)現(xiàn)象。

此外，以TeleChat為底座的教育版大模型TeleChat-E在全球大模型綜合性考試評(píng)測(cè)榜單C-Eval上排名第七，前幾名包括ChatGPT等知名大模型。TeleChat-E使用人工收集、標(biāo)注、整理的高質(zhì)量領(lǐng)域數(shù)據(jù)對(duì)TeleChat進(jìn)行持續(xù)效果強(qiáng)化。同時(shí)，TeleChat-E對(duì)Transformer Decoder的損失函數(shù)進(jìn)行改進(jìn)，使之更加關(guān)注題目答案的生成，提高準(zhǔn)確率。

當(dāng)下，電信TeleChat大模型正在與千行百業(yè)的信息化解決方案進(jìn)行融合，在諸多行業(yè)實(shí)現(xiàn)商業(yè)化落地。

中國(guó)聯(lián)通：鴻湖圖文大模型1.0

近日，在上海世界移動(dòng)通信大會(huì)期間，中國(guó)聯(lián)通發(fā)布了一項(xiàng)重要的技術(shù)創(chuàng)新成果——鴻湖圖文大模型1.0。中國(guó)聯(lián)通稱(chēng)，鴻湖圖文大模型是首個(gè)面向運(yùn)營(yíng)商增值業(yè)務(wù)的大模型。

據(jù)了解，鴻湖圖文大模型目前有兩個(gè)版本，分別是擁有8億訓(xùn)練參數(shù)和20億訓(xùn)練參數(shù)的版本。這意味著該大模型具備了強(qiáng)大的計(jì)算和學(xué)習(xí)能力，能夠?qū)崿F(xiàn)多種復(fù)雜的圖文處理功能。

以文生圖是鴻湖圖文大模型的一項(xiàng)重要功能。通過(guò)該功能，用戶(hù)可以輸入文字描述，大模型能夠自動(dòng)生成相應(yīng)的圖像。這對(duì)于一些需要圖像輔助的場(chǎng)景，如廣告設(shè)計(jì)、創(chuàng)意表達(dá)等，具有重要的應(yīng)用價(jià)值。

另外，鴻湖圖文大模型還具備視頻剪輯和以圖生圖的功能。視頻剪輯功能可以根據(jù)用戶(hù)提供的視頻素材，自動(dòng)進(jìn)行剪輯和編輯，生成符合用戶(hù)需求的視頻作品。而以圖生圖功能則可以根據(jù)用戶(hù)提供的圖像，生成新的圖像，為用戶(hù)提供更多的創(chuàng)作靈感。

中國(guó)科學(xué)院自動(dòng)化研究所：紫東太初大模型

紫東太初是中國(guó)科學(xué)院自動(dòng)化研究所研發(fā)的跨模態(tài)通用人工智能平臺(tái) ，首次發(fā)布于 2021 年 7 月。紫東太初是圖文音（視覺(jué)-文本-語(yǔ)音）三模態(tài)預(yù)訓(xùn)練模型（OPT-Omni-Perception pre-Trainer），同時(shí)具備跨模態(tài)理解與跨模態(tài)生成能力。

2023年6月16日，中國(guó)科學(xué)院自動(dòng)化研究所發(fā)布紫東太初2.0。相比1.0版本，在語(yǔ)音、圖像和文本三模態(tài)的基礎(chǔ)上，加入視頻、傳感信號(hào)、3D點(diǎn)云等模態(tài)數(shù)據(jù)，研究突破了認(rèn)知增強(qiáng)的多模態(tài)關(guān)聯(lián)等關(guān)鍵技術(shù)，具備全模態(tài)理解能力、生成能力和關(guān)聯(lián)能力，面向數(shù)字經(jīng)濟(jì)時(shí)代加速通用人工智能的實(shí)現(xiàn)。

紫東太初 2.0以自動(dòng)化所自研算法為核心，以昇騰AI硬件及昇思MindSpore AI框架為基礎(chǔ)，依托武漢人工智能計(jì)算中心算力支持，著力打造全棧國(guó)產(chǎn)化通用人工智能底座。長(zhǎng)期以來(lái)，強(qiáng)大的算力支撐是約束我國(guó)人工智能發(fā)展的瓶頸之一，此舉將有力推動(dòng)國(guó)產(chǎn)基礎(chǔ)軟硬件與大模型技術(shù)的適配，協(xié)同構(gòu)建我國(guó)通用人工智能自主可控發(fā)展生態(tài)。

目前，“紫東太初”大模型已在神經(jīng)外科手術(shù)導(dǎo)航、短視頻內(nèi)容審核、法律咨詢(xún)、醫(yī)療多模態(tài)鑒別診斷、交通違規(guī)圖像研讀等領(lǐng)域開(kāi)始了一系列應(yīng)用。

智源研究院：悟道智能模型

智源研究院自 2020 年 10 月正式啟動(dòng)超大規(guī)模智能模型悟道項(xiàng)目，2021 年3月2號(hào)就發(fā)布了超大規(guī)模的智能模型悟道1.0，取得了多項(xiàng)領(lǐng)域的領(lǐng)先突破。2021年6月1日，基于智能模型“悟道2.0”誕生的原創(chuàng)虛擬學(xué)生“華智冰”在北京正式亮相。

悟道2.0智能模型參數(shù)規(guī)模達(dá)到1.75萬(wàn)億個(gè)，可以同時(shí)處理中英文和圖片數(shù)據(jù)。該模型還引入大規(guī)模的知識(shí)圖譜，構(gòu)建了數(shù)據(jù)與知識(shí)雙輪驅(qū)動(dòng)的人工智能框架，并通過(guò)這種框架分析、理解富含前沿技術(shù)信息的知識(shí)。

2023年 6 月的智源大會(huì)上，智源發(fā)布并全面開(kāi)源“悟道3.0”系列模型。值得注意的是，智源的關(guān)注點(diǎn)不僅是模型本身，更包括模型背后的算力平臺(tái)建設(shè)、數(shù)據(jù)梳理、模型能力評(píng)測(cè)、算法測(cè)試、開(kāi)源開(kāi)放組織等體系化工作。

“悟道3.0 ”包括“悟道·天鷹”（Aquila）語(yǔ)言大模型系列、“悟道 · 視界”視覺(jué)大模型系列，以及一系列多模態(tài)模型成果。

國(guó)外戰(zhàn)場(chǎng)

OpenAI：GPT 系列大模型

2022 年11月，OpenAI發(fā)布了名為ChatGPT的人工智能模型并迅速引爆人工智能市場(chǎng)，推動(dòng)國(guó)內(nèi)公司進(jìn)入生成式人工智能領(lǐng)域，導(dǎo)致市場(chǎng)競(jìng)爭(zhēng)激烈。OpenAI GPT 系列大模型基于 Transformer 基礎(chǔ)模型，GPT（Generative Pre-trained Transformer）即生成式預(yù)訓(xùn)練 Transformer模型，模型被設(shè)計(jì)為對(duì)輸入的單詞進(jìn)行理解和響應(yīng)并生成新單詞，預(yù)訓(xùn)練代表著 GPT 通過(guò)填空方法來(lái)對(duì)文本進(jìn)行訓(xùn)練。

GPT-4 是 OpenAI 在深度學(xué)習(xí)擴(kuò)展方面的最新里程碑。根據(jù)微軟發(fā)布的GPT-4 論文，GPT-4 已經(jīng)可被視為一個(gè)通用人工智能的早期版本。GPT-4 是一個(gè)大型多模態(tài)模型（接受圖像和文本輸入 、輸出），雖然在許多現(xiàn)實(shí)場(chǎng)景中的能力不如人類(lèi)，但在各種專(zhuān)業(yè)和學(xué)術(shù)基準(zhǔn)測(cè)試中表現(xiàn)出人類(lèi)水平的性能。GPT-4 不僅在文學(xué)、醫(yī)學(xué)、法律、數(shù)學(xué)、物理科學(xué)和程序設(shè)計(jì)等不同領(lǐng)域表現(xiàn)出高度熟練程度，而且它還能夠?qū)⒍鄠€(gè)領(lǐng)域的技能和概念統(tǒng)一起來(lái)，并能理解其復(fù)雜概念。

2023 年 6 月，OpenAI對(duì)外公布了一種新的AI模型訓(xùn)練方法，旨在解決“AI幻覺(jué)”的問(wèn)題。所謂“AI幻覺(jué)”，指的是聊天機(jī)器人用編造的信息進(jìn)行回應(yīng)，這是AI自信反應(yīng)的一種表現(xiàn)。ChatGPT、谷歌 Bard都存在 AI 幻覺(jué)問(wèn)題。OpenAI研究人員在報(bào)道中寫(xiě)道：“即使是最先進(jìn)的模型也很容易生成虛假信息——在不確定情況時(shí)，它們往往表現(xiàn)出捏造事實(shí)的傾向。這種幻覺(jué)在需要多步推理的領(lǐng)域尤其嚴(yán)重，其中一個(gè)環(huán)節(jié)上的邏輯錯(cuò)誤就足以破壞整個(gè)解答過(guò)程?！?/p>

微軟：Orca大模型等

2019 年微軟首次注資 OpenAI后，雙方開(kāi)始在微軟的 Azure 云計(jì)算服務(wù)上合作開(kāi)發(fā)人工智能超級(jí)計(jì)算技術(shù)，同時(shí) OpenAI 逐漸將云計(jì)算服務(wù)從谷歌云遷移到 Azure。2023 年 3月起，微軟開(kāi)始全面集成GPT- 4，包括Office 全家桶、Windows、Bing 等等。

2022 年 8 月，微軟亞洲研究院聯(lián)合微軟圖靈團(tuán)隊(duì)推出了最新升級(jí)的 BEiT-3 預(yù)訓(xùn)練模型，在廣泛的視覺(jué)及視覺(jué)-語(yǔ)言任務(wù)上，包括目標(biāo)檢測(cè)（COCO）、實(shí)例分割（COCO）、語(yǔ)義分割（ADE20K）、圖像分類(lèi)（ImageNet）、視覺(jué)推理（NLVR2）、視覺(jué)問(wèn)答（VQAv2）、圖片描述生成（COCO）和跨模態(tài)檢索（Flickr30K，COCO）等，實(shí)現(xiàn)了 SOTA 的遷移性能。

2023 年6 月，微軟 AI 推出 Orca，這是一個(gè)擁有 130 億個(gè)參數(shù)的AI模型，可以從 GPT-4 中學(xué)習(xí)復(fù)雜的解釋軌跡和逐步的思維過(guò)程。這種創(chuàng)新方法顯著提高了現(xiàn)有最先進(jìn)的指令調(diào)整模型的性能，解決了與任務(wù)多樣性、查詢(xún)復(fù)雜性和數(shù)據(jù)擴(kuò)展相關(guān)的挑戰(zhàn)。Orca 語(yǔ)言模型可以針對(duì)特定任務(wù)進(jìn)行優(yōu)化，并使用 GPT-4 等大型語(yǔ)言模型進(jìn)行訓(xùn)練。由于其尺寸較小，Orca 運(yùn)行和操作所需的計(jì)算資源較少。研究人員可以根據(jù)自己的需求優(yōu)化模型并獨(dú)立運(yùn)行，無(wú)需依賴(lài)大型數(shù)據(jù)中心。

微軟正在利用大規(guī)模和多樣化的模仿數(shù)據(jù)來(lái)促進(jìn) Orca 的漸進(jìn)式學(xué)習(xí)，Orca 在 Big-Bench Hard （BBH） 等復(fù)雜的零樣本推理基準(zhǔn)測(cè)試中已經(jīng) 100% 超過(guò)了 Vicuna。

谷歌：PaLM 2 大模型、Gemini大模型等

谷歌最早在 2017 年提出 Transformer 網(wǎng)絡(luò)結(jié)構(gòu)，成為了過(guò)去數(shù)年該領(lǐng)域大多數(shù)行業(yè)進(jìn)展的基礎(chǔ)。隨后在 2018 年，谷歌提出的 BERT 模型，在 11 個(gè) NLP 領(lǐng)域的任務(wù)上都刷新了以往的記錄?；?Transformer 結(jié)構(gòu)，谷歌于 2019 年推出大模型——T5（Text-toText Transfer Transformer）

在ChatGPT 取得突破性成功之后，谷歌宣布了自己的聊天機(jī)器人谷歌 Bard， 而 Bard 這個(gè)技術(shù)形象背后是 LaMDA 在提供后端支撐。LaMDA 是繼 BERT之后，谷歌于 2021 年推出的一款自然對(duì)話應(yīng)用的語(yǔ)言模型。同年谷歌研發(fā)出 GLaM 模型架構(gòu)，GLaM 也是混合專(zhuān)家模型（MoE），其在多個(gè)小樣本學(xué)習(xí)任務(wù)上取得有競(jìng)爭(zhēng)力的性能。

2022 年，Google 發(fā)布了 Pathways AI 架構(gòu)的大模型（Pathways Language Model），簡(jiǎn)稱(chēng)為 PaLM），2023 年5 月，谷歌在Google I/O 開(kāi)發(fā)者大會(huì)上發(fā)布了升級(jí)款 PaLM 2 ，PaLM 2 同時(shí)提供了四種模型大小的版本分別是：壁虎（Gecko）、水獺（Otter）、野牛（Bison）和獨(dú)角獸（Unicorn）。據(jù)谷歌介紹，PaLM 2 具有改進(jìn)的多語(yǔ)言能力，在訓(xùn)練模型時(shí)加入了 100 多種語(yǔ)言的語(yǔ)料來(lái)，促使 PaLM 2 在理解、生成和翻譯細(xì)微差別的文本（如成語(yǔ)、詩(shī)歌和謎語(yǔ)）的能力上相比前代有著顯著提高。同時(shí)在推理方面，PaLM 2 的數(shù)據(jù)集在理解科學(xué)論文以及數(shù)學(xué)表達(dá)式等問(wèn)題時(shí)也有著巨大提升。

6月28日消息，谷歌正準(zhǔn)備推出全新的AI大模型Gemini。谷歌旗下DeepMind CEO戴密斯·哈薩比斯最近在采訪中進(jìn)一步透露了Gemini的細(xì)節(jié)，Gemini會(huì)將AlphaGo與GPT-4等大模型的語(yǔ)言功能合并，目標(biāo)是讓系統(tǒng)具有新的能力，如規(guī)劃或解決問(wèn)題，比OpenAI的GPT-4能力更強(qiáng)。不過(guò)Gemini還在開(kāi)發(fā)中， 這個(gè)過(guò)程預(yù)計(jì)需要幾個(gè)月的時(shí)間。

Meta：LLaMA語(yǔ)言模型、ImageBind 大模型等

繼微軟、谷歌之后，F(xiàn)acebook母公司Meta也加入AI軍備競(jìng)賽。2023 年2月24日，Meta官網(wǎng)公布了一款新的人工智能大型語(yǔ)言模型LLaMA，從參數(shù)規(guī)模來(lái)看，Meta提供有70億、130億、330億和650億四種參數(shù)規(guī)模的LLaMA模型，并用20種語(yǔ)言進(jìn)行訓(xùn)練。

2023 年 5 月，Meta 發(fā)布 650億參數(shù)語(yǔ)言模型 LIMA，僅在 1000 個(gè)精心挑選的樣本上微調(diào) LLaMa-65B 且無(wú)需 RLHF，就實(shí)現(xiàn)了與 GPT-4 和 Bard 相媲美的性能。此外，Meta還推出了大規(guī)模多語(yǔ)言語(yǔ)音項(xiàng)目 MMS（Massively Multilingual Speech）、可“任意圖像分割”的基礎(chǔ)模型SAM（Segment Anything Model）、DINOv2 視覺(jué)大模型。

同樣在 5 月，Meta開(kāi)源 ImageBind 新模型，ImageBind大模型以視覺(jué)為核心，結(jié)合文本、聲音、深度、熱量（紅外輻射）、運(yùn)動(dòng)（慣性傳感器），最終可以做到6個(gè)模態(tài)之間任意的理解和轉(zhuǎn)換。ImageBind 可以使用文本、音頻和圖像的組合來(lái)搜索照片、視頻、音頻文件或文本消息。ImageBind 用于豐富的多媒體搜索、虛擬現(xiàn)實(shí)甚至機(jī)器人技術(shù)，可以和 Meta 內(nèi)部的虛擬現(xiàn)實(shí)、混合現(xiàn)實(shí)和元宇宙等技術(shù)相結(jié)合。

AWS：Titan語(yǔ)言大模型

2023 年 4 月，AWS 正式入局 AIGC，推出自有基礎(chǔ)模型 Titan 和 AIGC 服務(wù) Bedrock，以及 AI 編程助手 Amazon CodeWhisperer，并宣布基于自研推理和訓(xùn)練 AI 芯片的最新實(shí)例 Amazon EC2 Trn1n 和 Amazon EC2 Inf2 正式可用。

AWS 推出的自研語(yǔ)言大模型 Titan分為兩種，一種是針對(duì)總結(jié)、文本生成（如原創(chuàng)博客）、分類(lèi)、開(kāi)放式問(wèn)答和信息提取等任務(wù)的生成式大語(yǔ)言模型。另一種是文本嵌入（embeddings）大語(yǔ)言模型，能夠?qū)⑽谋据斎耄ㄗ衷~、短語(yǔ)甚至是大篇幅文章）翻譯成包含語(yǔ)義的數(shù)字表達(dá)（即embeddings 嵌入編碼）。AWS表示，除了這兩個(gè)以外，未來(lái)還會(huì)有一系列模型都隸屬于Amazon Titan家族。

除了大模型，同時(shí)發(fā)的還有新的訓(xùn)練和推理實(shí)例，一個(gè)面向開(kāi)發(fā)者的AI編程工具Amazon CodeWhisperer，還有用于托管和開(kāi)發(fā)生成式AI應(yīng)用的Amazon Bedrock。四箭齊發(fā)，亞馬遜云科技搶占大模型市場(chǎng)機(jī)遇。

在大模型快速演進(jìn)的關(guān)鍵時(shí)期，為方便技術(shù)交流，共促產(chǎn)業(yè)發(fā)展。