AI大模型是“大數(shù)據(jù)+大算力+強(qiáng)算法”結(jié)合的產(chǎn)物，凝聚了大數(shù)據(jù)內(nèi)在精華的“隱式知識(shí)庫(kù)”。包含了“預(yù)訓(xùn)練”和“大模型”兩層含義，即模型在大規(guī)模數(shù)據(jù)集上完成了預(yù)訓(xùn)練后無(wú)需微調(diào)，或僅需要少量數(shù)據(jù)的微調(diào)，就能直接支撐各類(lèi)應(yīng)用。

AI大模型成為人工智能邁向通用智能的里程碑技術(shù)。AI大模型的落地應(yīng)用使得AI的三要素由“數(shù)據(jù)、算法、算力”演變?yōu)椤皥?chǎng)景、產(chǎn)品、算力”?；跀?shù)據(jù)的互聯(lián)網(wǎng)時(shí)代和基于算力的云計(jì)算時(shí)代之后，我們將進(jìn)入基于大模型的AI時(shí)代。

AI大模型的發(fā)展歷程

? 從參數(shù)規(guī)模上看，AI大模型先后經(jīng)歷了預(yù)訓(xùn)練模型、大規(guī)模預(yù)訓(xùn)練模型、超大規(guī)模預(yù)訓(xùn)練模型三個(gè)階段，每年參數(shù)規(guī)模至少提升10倍，參數(shù)量實(shí)現(xiàn)了從億級(jí)到百萬(wàn)億級(jí)的突破。目前千億級(jí)參數(shù)規(guī)模的大模型成為主流。

?從技術(shù)架構(gòu)上看，?Transformer架構(gòu)是當(dāng)前大模型領(lǐng)域主流的算法架構(gòu)基礎(chǔ)，由此形成了GPT和BERT兩條主要的技術(shù)路線，其中BERT最有名的落地項(xiàng)目是谷歌的AlphaGo。在GPT3.0發(fā)布后，GPT逐漸成為大模型的主流路線。綜合來(lái)看，當(dāng)前幾乎所有參數(shù)規(guī)模超過(guò)千億的大型語(yǔ)言模型都采取GPT模式，如百度文心一言，阿里發(fā)布的通義千問(wèn)等。

? 從模態(tài)支持上看，AI大模型可分為自然語(yǔ)言處理大模型，CV大模型、科學(xué)計(jì)算大模型等。AI大模型支持的模態(tài)更加多樣，從支持文本、圖片、圖像、語(yǔ)音單一模態(tài)下的單一任務(wù)，逐漸發(fā)展為支持多種模態(tài)下的多種任務(wù)。

?從應(yīng)用領(lǐng)域上看，大模型可分為通用大模型和行業(yè)大模型兩種。通用大模型是具有強(qiáng)大泛化能力，可在不進(jìn)行微調(diào)或少量微調(diào)的情況下完成多場(chǎng)景任務(wù)，相當(dāng)于AI完成了“通識(shí)教育”，ChatGPT、華為的盤(pán)古都是通用大模型。行業(yè)大模型則是利用行業(yè)知識(shí)對(duì)大模型進(jìn)行微調(diào)，讓AI完成“專(zhuān)業(yè)教育”，以滿足在能源、金融、制造、傳媒等不同領(lǐng)域的需求，如金融領(lǐng)域的BloombergGPT、航天-百度文心等。

當(dāng)前，AI大模型的發(fā)展正從以不同模態(tài)數(shù)據(jù)為基礎(chǔ)過(guò)渡到與知識(shí)、可解釋性、學(xué)習(xí)理論等方面相結(jié)合，呈現(xiàn)出全面發(fā)力、多點(diǎn)開(kāi)花的新格局。

AI大模型發(fā)展階段

AI大模型發(fā)展歷經(jīng)三個(gè)階段，分別是萌芽期、沉淀期和爆發(fā)期。

?萌芽期（1950-2005）：以CNN為代表的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型階段。1956年，從計(jì)算機(jī)專(zhuān)家約翰·麥卡錫提出“人工智能”概念開(kāi)始，AI發(fā)展由最開(kāi)始基于小規(guī)模專(zhuān)家知識(shí)逐步發(fā)展為基于機(jī)器學(xué)習(xí)。1980年，卷積神經(jīng)網(wǎng)絡(luò)的雛形CNN誕生。1998年，現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)LeNet-5誕生，機(jī)器學(xué)習(xí)方法由早期基于淺層機(jī)器學(xué)習(xí)的模型，變?yōu)榱嘶?a href="http://www.www27dydycom.cn/v/tag/448/" target="_blank">深度學(xué)習(xí)的模型,為自然語(yǔ)言生成、計(jì)算機(jī)視覺(jué)等領(lǐng)域的深入研究奠定了基礎(chǔ)，對(duì)后續(xù)深度學(xué)習(xí)框架的迭代及大模型發(fā)展具有開(kāi)創(chuàng)性的意義。

?沉淀期（2006-2019）：以Transformer為代表的全新神經(jīng)網(wǎng)絡(luò)模型階段。2013年，自然語(yǔ)言處理模型 Word2Vec誕生，首次提出將單詞轉(zhuǎn)換為向量的“詞向量模型”，以便計(jì)算機(jī)更好地理解和處理文本數(shù)據(jù)。2014年，被譽(yù)為21世紀(jì)最強(qiáng)大算法模型之一的GAN（對(duì)抗式生成網(wǎng)絡(luò)）誕生，標(biāo)志著深度學(xué)習(xí)進(jìn)入了生成模型研究的新階段。2017年，Google顛覆性地提出了基于自注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)——Transformer架構(gòu)，奠定了大模型預(yù)訓(xùn)練算法架構(gòu)的基礎(chǔ)。2018年，OpenAI和Google分別發(fā)布了GPT-1與BERT大模型，意味著預(yù)訓(xùn)練大模型成為自然語(yǔ)言處理領(lǐng)域的主流。在探索期，以Transformer為代表的全新神經(jīng)網(wǎng)絡(luò)架構(gòu)，奠定了大模型的算法架構(gòu)基礎(chǔ)，使大模型技術(shù)的性能得到了顯著提升。

?爆發(fā)期（2020-至今）：以GPT為代表的預(yù)訓(xùn)練大模型階段。

2020年，OpenAI公司推出了GPT-3，模型參數(shù)規(guī)模達(dá)到了1750億，成為當(dāng)時(shí)最大的語(yǔ)言模型，并且在零樣本學(xué)習(xí)任務(wù)上實(shí)現(xiàn)了巨大性能提升。隨后，更多策略如基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)（RHLF）、代碼預(yù)訓(xùn)練、指令微調(diào)等開(kāi)始出現(xiàn), 被用于進(jìn)一步提高推理能力和任務(wù)泛化。2022年11月，搭載了GPT3.5的ChatGPT橫空出世，憑借逼真的自然語(yǔ)言交互與多場(chǎng)景內(nèi)容生成能力，迅速引爆互聯(lián)網(wǎng)。2023年3月，最新發(fā)布的超大規(guī)模多模態(tài)預(yù)訓(xùn)練大模型——GPT-4，具備了多模態(tài)理解與多類(lèi)型內(nèi)容生成能力。在迅猛發(fā)展期，大數(shù)據(jù)、大算力和大算法完美結(jié)合，大幅提升了大模型的預(yù)訓(xùn)練和生成能力以及多模態(tài)多場(chǎng)景應(yīng)用能力。如ChatGPT的巨大成功,就是在微軟Azure強(qiáng)大的算力以及wiki等海量數(shù)據(jù)支持下，在Transformer架構(gòu)基礎(chǔ)上，堅(jiān)持GPT模型及人類(lèi)反饋的強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行精調(diào)的策略下取得的。

國(guó)內(nèi)外企業(yè)發(fā)展概況

目前，在大模型領(lǐng)域，國(guó)內(nèi)外巨頭的競(jìng)爭(zhēng)已經(jīng)白熱化。OpenAI已成為引領(lǐng)大模型發(fā)展的標(biāo)桿企業(yè)。繼多模態(tài)大模型GPT-4發(fā)布后，預(yù)計(jì)今年四季度OpenAI將發(fā)布更為高級(jí)的ChatGPT-5版本。微軟借助對(duì)OpenAI的投資與合作，將旗下Office辦公產(chǎn)品全線整合，已在3月下旬推出Copilot Office。5月24日，微軟宣布Win11接入GPT-4。

圖片來(lái)源：賽迪智庫(kù)

5月10日，微軟的直接競(jìng)爭(zhēng)對(duì)手谷歌推出新一代大模型PaLM 2，已有超過(guò)25個(gè)AI產(chǎn)品和功能全線接入PaLM 2，包括原有對(duì)話機(jī)器人Bard，AI+辦公助手Duet AI、AI+搜索引擎等，Meta則發(fā)布大模型LLaMA，加入競(jìng)賽。亞馬遜與人工智能初創(chuàng)公司Hugging Face合作開(kāi)發(fā)ChatGPT競(jìng)品——BLOOM。

國(guó)內(nèi)，產(chǎn)投研各方均已加快布局步伐。一是國(guó)內(nèi)科技龍頭企業(yè)密集發(fā)布自研大模型。百度發(fā)布大模型文心一言，阿里發(fā)布首個(gè)超大規(guī)模語(yǔ)言模型通義千問(wèn)，騰訊混元AI大模型團(tuán)隊(duì)推出了萬(wàn)億級(jí)別中文NLP預(yù)訓(xùn)練模型HunYuan-NLP-1T。華為發(fā)布的鵬城盤(pán)古大模型是業(yè)界首個(gè)千億級(jí)生成和理解中文NLP大模型。

二是投創(chuàng)界積極入局大模型競(jìng)賽。美團(tuán)聯(lián)合創(chuàng)始人王慧文自帶5000萬(wàn)美元入局AI大模型，搜狗前CEO王小川與搜狗前COO茹麗云共同創(chuàng)立百川智能，瀾舟科技發(fā)布其語(yǔ)言生成模型——孟子MChat可控大模型，西湖心辰也推出了心辰Chat大模型。

三是高校與科研院所積極布局大模型。復(fù)旦大學(xué)推出國(guó)內(nèi)首個(gè)類(lèi)ChatGPT大模型MOSS，清華大學(xué)知識(shí)工程實(shí)驗(yàn)室與其技術(shù)成果轉(zhuǎn)化公司智譜AI發(fā)布ChatGLM，中科院自動(dòng)化所推出多模態(tài)大模型紫東太初，IDEA 研究院 CCNL推出開(kāi)源通用大模型“姜子牙”。

目前大模型面臨四個(gè)挑戰(zhàn)

第一，評(píng)估驗(yàn)證：當(dāng)前針對(duì)大模型的評(píng)估數(shù)據(jù)集往往是更像“玩具”的學(xué)術(shù)數(shù)據(jù)集，但是這些學(xué)術(shù)數(shù)據(jù)集無(wú)法完全反應(yīng)現(xiàn)實(shí)世界中形形色色的問(wèn)題與挑戰(zhàn)，因此亟需實(shí)際的數(shù)據(jù)集在多樣化、復(fù)雜的現(xiàn)實(shí)問(wèn)題上對(duì)模型進(jìn)行評(píng)估，確保模型可以應(yīng)對(duì)現(xiàn)實(shí)世界的挑戰(zhàn)；

第二，倫理道德：模型應(yīng)該與人類(lèi)的價(jià)值觀相符，確保模型行為符合預(yù)期，作為一個(gè)高級(jí)的復(fù)雜系統(tǒng)，如果不認(rèn)真處理這種道德問(wèn)題，有可能會(huì)為人類(lèi)醞釀一場(chǎng)災(zāi)難；

第三，安全隱患：需要更多的做好模型的可解釋性、監(jiān)督管理工作，安全問(wèn)題應(yīng)該是模型開(kāi)發(fā)的重要組成部分，而非錦上添花可有可無(wú)的裝飾；

第四，發(fā)展趨勢(shì)：模型的性能還會(huì)隨著模型規(guī)模的增加而增長(zhǎng)嗎？這個(gè)問(wèn)題估計(jì) OpenAI 也難以回答，我們針對(duì)大模型的神奇現(xiàn)象的了解仍然十分有限，針對(duì)大模型原理性的見(jiàn)解仍然十分珍貴。

編輯：黃飛

?