幾年來，預(yù)訓(xùn)練大模型逐漸從一個AI領(lǐng)域內(nèi)的技術(shù)語言，變成了強(qiáng)勢出圈的產(chǎn)業(yè)熱點與社會關(guān)注話題。但如果大家關(guān)注這一話題，會很容易注意到越來越多的聲音開始反思大模型的發(fā)展之路。比如，大模型是不是應(yīng)該一味追求龐大的訓(xùn)練參數(shù)？在發(fā)展路徑上我們是不是只能嚴(yán)格對標(biāo)GPT-3等國際著名大模型產(chǎn)品？

當(dāng)中國科技企業(yè)與研究機(jī)構(gòu)紛紛投入大模型競爭時，是不是有可能探索出一條屬于自己的道路？

在科技自立的需求愈發(fā)嚴(yán)峻與明確時，透過大模型競賽，我們可以看到更多關(guān)于AI的產(chǎn)業(yè)啟示與戰(zhàn)略思考。

12月8日，鵬城實驗室與百度聯(lián)合召開發(fā)布會，正式發(fā)布雙方共同研發(fā)的全球首個知識增強(qiáng)千億大模型——鵬城-百度·文心。這一大模型參數(shù)規(guī)模達(dá)到2600億，并且在全球60多項NLP任務(wù)中取得了最佳效果。同時，百度產(chǎn)業(yè)級知識增強(qiáng)大模型“文心”家族也首次亮相。

早在2019年，百度就開始布局文心預(yù)訓(xùn)練模型，如今它也率先走向了差異化拐點。當(dāng)大眾對知識增強(qiáng)這一概念的熟稔遠(yuǎn)不如大模型本身時，百度文心選擇了這條聽上去陌生，但卻至關(guān)重要的產(chǎn)業(yè)新徑。

大模型為什么重要？為什么我們應(yīng)該在大模型上探索出新的方向？透過百度文心大模型，我們看到的是科技自立的遠(yuǎn)方，看到的是中國AI的飛翔之地。

大模型不是軍備競賽，而是教育競賽

首先來看大模型本身的行業(yè)意義與發(fā)展背景。

如今，似乎每家AI企業(yè)和研究機(jī)構(gòu)都在做大模型。這種火熱局面經(jīng)常被稱為“大模型的軍備競賽”。但如果我們要理解的是，大模型本身是一種產(chǎn)業(yè)基礎(chǔ)設(shè)施和輔助工具，并不是企業(yè)與機(jī)構(gòu)的“不傳之秘”。

AI產(chǎn)業(yè)發(fā)展大模型，就像是國家發(fā)展教育事業(yè)，本身是為了培養(yǎng)更多人才和創(chuàng)新能力，增強(qiáng)整個社會的能動性。

通過海量數(shù)據(jù)的預(yù)訓(xùn)練集成，大模型可以有效降低個體企業(yè)與具體行業(yè)的AI應(yīng)用門檻，解決數(shù)據(jù)標(biāo)注與行業(yè)差異化適配的問題。大模型就像一間間學(xué)校，培養(yǎng)了具有通識能力與高素質(zhì)的人才，從而避免了企業(yè)需要從小學(xué)知識開始重新培養(yǎng)人才。

這也就將引出一個關(guān)鍵問題：既然大模型是一種“教育系統(tǒng)”，那么教育就應(yīng)該貼合社會的實際需求。學(xué)?？隙ú皇且杂玫袅硕嗌贂緛碓u價質(zhì)量，就像大模型不能僅以訓(xùn)練參數(shù)定優(yōu)劣，更重要的是教育方法是不是與社會適配，能否培育出具有強(qiáng)大能力的人才。

從這個維度上思考，中國AI產(chǎn)業(yè)要一直跟隨GPT-3等大模型的腳步，一味在訓(xùn)練參數(shù)上標(biāo)榜自身嗎？

中國的產(chǎn)業(yè)底座、應(yīng)用需求、技術(shù)領(lǐng)導(dǎo)力，是否有可能培育出自己的差異化大模型之路？

此次百度發(fā)布的鵬城-百度·文心，以及亮相的百度文心大模型，或許就是答案的方向。

跳出藩籬：知識增強(qiáng)大模型的差異化之路

2019年3月，在全球大模型的剛剛開始起步的時候，百度就發(fā)布了ERNIE 1.0版本，提出了知識增強(qiáng)的語義表示模型。2019年7月，ERNIE 2.0 則構(gòu)建了持續(xù)學(xué)習(xí)語義理解框架，在中英文 16 個任務(wù)上取得了業(yè)界最佳效果。

面向NLP領(lǐng)域AI的探索，文心大模型跳出了以往大模型的窠臼，采用了知識增強(qiáng)這一全新技術(shù)路徑。知識增強(qiáng)將百度在知識圖譜、跨模態(tài)學(xué)習(xí)等領(lǐng)域的技術(shù)能力，與模型訓(xùn)練學(xué)習(xí)方面的產(chǎn)業(yè)積累結(jié)合，實現(xiàn)了更高效率的學(xué)習(xí)，令模型的理解與生成能力顯著增強(qiáng)。

這也很像人類學(xué)習(xí)的過程，具體信息的學(xué)習(xí)固然重要，同時知識與邏輯的學(xué)習(xí)也必不可少。知識既構(gòu)成了人的通識能力基礎(chǔ)，也可以顯著提升具體能力的學(xué)習(xí)與應(yīng)用。在大模型領(lǐng)域，知識與深度學(xué)習(xí)的結(jié)合起到了事半功倍的效果。

與此同時，文心大模型還強(qiáng)化了跨語言、跨模態(tài)的學(xué)習(xí)能力。在技術(shù)的不斷迭代之下，文心大模型的泛化能力更強(qiáng)，可以適應(yīng)更具體真實的任務(wù)應(yīng)用，尤其是處理小樣本學(xué)習(xí)任務(wù)的能力。

（鵬城-百度·文心模型結(jié)構(gòu)圖）

這條差異化之路，讓鵬城－百度·文心千億大模型可以實現(xiàn)更高效率的學(xué)習(xí)，并在同等參數(shù)空間下實現(xiàn)效果更優(yōu)，并且符合真實場景的應(yīng)用需求。而能夠?qū)崿F(xiàn)知識增強(qiáng)這條新路的開拓，得益于百度在知識、深度學(xué)習(xí)、以及模型開發(fā)訓(xùn)練并行且長期的布局積累，也得益于鵬城云腦Ⅱ提供的強(qiáng)大算力。

中國AI的積累、實力與需求，共同構(gòu)成了差異化之路的起點。從這個意義上來看，知識增強(qiáng)大模型的價值并不僅僅在大模型本身。

走向通用：百度文心的應(yīng)用拓展空間

BERT、GPT-3等大模型確實取得了驚人的效果，但大模型也經(jīng)常因為應(yīng)用上的滯后性引發(fā)質(zhì)疑。其原因主要來自兩方面：一是大模型的算力需求過大，成本高昂；二是大模型的泛化能力欠佳，經(jīng)常難以解決應(yīng)用場景中復(fù)雜多變的實際問題。

面對這些問題，鵬城-百度·文心實現(xiàn)了更強(qiáng)的應(yīng)用能力。在場景化應(yīng)用方案中，鵬城-百度·文心可以實現(xiàn)多尺寸的模型蒸餾，甚至以極小尺寸適配具體需求，降低大模型使用門檻與成本。

在通用能力上，通過與知識的結(jié)合加上跨語言、跨模態(tài)能力的融入，文心大模型可以適配更加多樣化、通用化的任務(wù)，在通信、金融、醫(yī)療等領(lǐng)域具備廣泛的應(yīng)用前景與想象空間。

鵬城－百度·文心在60多項國際著名任務(wù)上取得了領(lǐng)先優(yōu)勢，其中有30多項是小樣本、零樣本學(xué)習(xí)的任務(wù)，表明了鵬城－百度·文心的泛化應(yīng)用能力更強(qiáng)，可以低門檻適配行業(yè)需求與行業(yè)能力。

（鵬城-百度·文心小樣本學(xué)習(xí)效果）

（鵬城-百度·文心零樣本學(xué)習(xí)效果）

在金融領(lǐng)域，文心大模型賦能可以結(jié)合百度全流程AI開發(fā)平臺BML提供的模型再訓(xùn)練能力，基于定制的保險合同條款“智能解析模型”，完成一份合同內(nèi)近40個類目條款的智能分類，讓業(yè)務(wù)員處理單份合同文本的時長縮短到1分鐘，速度提升幾十倍。在智能客服領(lǐng)域，文心大模型可以有效提升服務(wù)的精準(zhǔn)性。這一能力目前已經(jīng)在浦發(fā)銀行、中國聯(lián)通等國內(nèi)眾多企業(yè)中得到應(yīng)用。

整體而言，文心大模型在相對復(fù)雜、有考驗性的應(yīng)用場景具備更加強(qiáng)大的表現(xiàn)。比如媒體創(chuàng)作、醫(yī)療文本分析、金融信息研判、合同分析等等，這些應(yīng)用空間非常廣闊，并且能夠適配的AI技術(shù)凈值很高，具有明確的商業(yè)化動力。

AI正在走向工業(yè)大生產(chǎn)，其中核心就是讓實驗室中的強(qiáng)大AI能力，走入產(chǎn)業(yè)，擁抱真實需求。而這就需要大模型具備更強(qiáng)的通用化能力，鵬城－百度·文心正是踏出了這樣的關(guān)鍵一步。

文心之路，自立之路：中國AI的飛翔之地

從技術(shù)差異和應(yīng)用場景出發(fā)，我們其實可以從鵬城－百度·文心和百度文心大模型里看到更遠(yuǎn)。如今，科技自立成為了時代潮流與企業(yè)責(zé)任，而到底什么是真正的科技自立呢？從鵬城－百度·文心中，我們或許能找到一些新的經(jīng)驗與標(biāo)準(zhǔn)。

在全球矚目的大模型領(lǐng)域中，知識增強(qiáng)大模型成功打破了固有邊界，跳出了“質(zhì)變沒有就拼量變”的傳統(tǒng)邏輯?？萍甲粤⒉皇悄阌惺裁次乙惨肇埉嫽?，你有千億參數(shù)我有萬億參數(shù)，而是結(jié)合自己的特點與需求，走出能夠引領(lǐng)潮流，有獨(dú)特發(fā)展空間的差異化之路。

此次百度的大模型最新發(fā)布亮相，可以看到中國AI厚積薄發(fā)，學(xué)中能變的時代腳步。

在前沿探索上，百度文心大模型在知識增強(qiáng)這個關(guān)鍵點上打破了大模型的產(chǎn)業(yè)壁壘，探索全新的技術(shù)可能與應(yīng)用特性，并且將跨語言、跨模態(tài)等前沿技術(shù)融入其中，構(gòu)筑更具領(lǐng)導(dǎo)力的技術(shù)創(chuàng)新，讓中國AI不再僅僅成為模仿者。

在產(chǎn)業(yè)協(xié)作，百度與鵬城云腦Ⅱ的合作，可以說是集合了中國AI的“最強(qiáng)實力組合”?！谤i城云腦Ⅱ”是自主研發(fā)的E級AI算力平臺，曾在多個國際性能測試比賽中奪冠。鵬城－百度·文心將基礎(chǔ)設(shè)施與前沿產(chǎn)業(yè)探索進(jìn)行了有效適配。這種產(chǎn)學(xué)一體，軟硬件協(xié)作，有效利用鵬城云腦Ⅱ作為創(chuàng)新底座的方式可以說是中國AI所獨(dú)有，在未來很長一段時間將是中國AI產(chǎn)業(yè)的特殊優(yōu)勢。

在戰(zhàn)略協(xié)同中，鵬城－百度·文心可以有效融入百度云智一體的戰(zhàn)略架構(gòu)，大模型通過飛槳的技術(shù)創(chuàng)新特性帶來高效的訓(xùn)練結(jié)果，同時大模型也天然與百度智能云結(jié)合，構(gòu)成了開發(fā)者和企業(yè)選擇百度的動力。云智一體，指向泛化應(yīng)用與產(chǎn)業(yè)需求的AI發(fā)展策略，也是中國AI的獨(dú)特一面。

從源頭技術(shù)創(chuàng)新，到大模型的知識增強(qiáng)之路；從飛槳核心技術(shù)的有效利用，到與鵬城云腦的軟硬件合作，鵬城-百度·文心千億大模型的每一步都根基于自主，每一個選擇都趨向于自立。這種既能破壁求變，也能務(wù)實協(xié)同的發(fā)展方法，就是中國AI的飛翔之地。

最近有個話題頻頻登上熱搜，叫做“中國有偉大的知識寶庫”。在知識增強(qiáng)的創(chuàng)新之路中，鵬城－百度·文心指向的，就是中國AI這樣一個偉大的知識寶庫.