大模型只是中間狀態(tài)，開源的大模型技術(shù)生態(tài)才是未來。

一代人的時間里總會有幾次這樣的時刻：一種產(chǎn)品的出現(xiàn)將一項技術(shù)從昏暗的工程系地下室、臭氣熏天的書呆子們的臥室和業(yè)余愛好者們孤獨的洞穴中彈射出來，變成了連你的祖母都知道如何使用的東西。

《財富》雜志的這段話，捕捉了1994年網(wǎng)景瀏覽器和2007年iPhone的歷史意義，也描述了今天ChatGPT為人工智能領(lǐng)域帶來的變化。

它們都是一個生態(tài)體系的開端。ChatGPT的背后是AI大模型，但智能時代的未來不會僅僅是大模型本身，而將是大模型生態(tài)體系。

北京智源人工智能研究院院長黃鐵軍認為，過去的「煉」大模型并非一種正常的狀態(tài)，AI一定是通過作為公共產(chǎn)品的智力而非個別的大模型來提供服務(wù)的。在未來，大模型會有很多，但大模型生態(tài)體系不會超過3個。

而要建立提供數(shù)據(jù)、訓(xùn)練、治理等全套服務(wù)的大模型生態(tài)體系，并非哪一家企業(yè)能為之，需要更多機構(gòu)一起合作。在黃鐵軍看來，智能時代需要真開源，不是某一家企業(yè)控制下的開源，而是像Linux和RISC-V 那樣的開源。

如果不想在這一波AI大模型熱潮中被卡脖子，我們只有開源一條路。

為了加快這一步伐，智源研究院在2月28日發(fā)布了FlagOpen（飛智）大模型技術(shù)開源體系，大模型領(lǐng)域的「Linux」正在誕生。

1

ChatGPT 水面之下：回歸技術(shù)理性

愛迪生曾在曼哈頓的一個街區(qū)鋪設(shè)電網(wǎng)，點亮了那個街區(qū)，OpenAI推出ChatGPT也具有同樣的局部驗證性作用。在大呼驚奇過后，國內(nèi)各家紛紛趕制中國版ChatGPT，相當(dāng)于各自建立一個小型電網(wǎng)、為一部分用戶服務(wù)。

但這距離大模型作為一種產(chǎn)品服務(wù)進入到千家萬戶還有很長一段距離。

我們亟需從ChatGPT的商業(yè)化狂潮中回歸到技術(shù)理性。要看到的是，ChatGPT作為一個產(chǎn)品只是水面上的冰山一角，水面之下是大模型的底層技術(shù)體系。

一方面，商業(yè)模式尚未清晰，大模型的戰(zhàn)略“占位”意圖更加明顯，僅少數(shù)玩家具備技術(shù)基礎(chǔ)的相對充分累積。而總資源有限，算力稀缺，資本驅(qū)動的模式可能會導(dǎo)致重復(fù)性浪費，影響潛在的技術(shù)進步可能性。

另一方面，如今的大模型雖然已經(jīng)足夠大，但將來要走什么樣的技術(shù)路線還是一個開放的問題，有許多問題尚待解決，比如是否會有新的架構(gòu)和算法、如何解釋大模型的涌現(xiàn)能力、怎么提高大模型的高級認知能力等等。

不僅僅是科學(xué)問題，在大模型的產(chǎn)業(yè)化過程中，如何用更少的計算成本、智能水平更高的大模型去提供AI服務(wù)，也需要長期考慮。就像有了發(fā)電廠之后，仍要繼續(xù)鉆研提高發(fā)電效率的技術(shù)，研究家庭用電接口的方式等等。

所以，中國是否也要做一個ChatGPT出來？基于當(dāng)前匆匆回應(yīng)，也許不如進一步面向未來看問題—— 如何驅(qū)動整個大模型產(chǎn)業(yè)及生態(tài)產(chǎn)生越來越多令人驚喜的AI現(xiàn)象？

「大模型只是冰山一角，我們要在大模型磅礴的大生態(tài)中找準自己的歷史性位置。」黃鐵軍認為，大模型是一種中間狀態(tài)，它不是最終的服務(wù)形態(tài)，而是現(xiàn)階段用特定技術(shù)、特定算法訓(xùn)練出來的結(jié)果。未來的形態(tài)應(yīng)當(dāng)是以大模型為技術(shù)手段、向所有人提供24×7服務(wù)的智能運營系統(tǒng)。

如同今天的通信網(wǎng)絡(luò)運營商僅有幾家巨頭，將來大模型的服務(wù)運營體系也會屈指可數(shù)——但龐大的產(chǎn)業(yè)群帶來的商業(yè)機遇會更多。

從技術(shù)出發(fā)建立生態(tài)，需要一個協(xié)作的方式。研究人員提出不同的大模型技術(shù)創(chuàng)新，并匯聚到一個開源開放的技術(shù)體系下，去展示能力、評估和比較。而且，不是止步于造一個大模型出來，而是持續(xù)地進行技術(shù)迭代。

智源聯(lián)合多家產(chǎn)學(xué)研單位建立大模型技術(shù)開源體系FlagOpen，正是面向這樣一個長遠的命題：在智能時代以大模型為代表的產(chǎn)業(yè)體系中，我們應(yīng)該做些什么？

而無論是從對前沿技術(shù)的重視程度還是組織的中立性來看，智源作為非營利研究機構(gòu)做大模型開源這件事是再合適不過。

2從大模型引領(lǐng)者到開源先鋒

「某種意義上，我們是后退一步，而不是去趕一個熱點?！裹S鐵軍說道。

在各路勢力一個接一個宣稱入局ChatGPT的熱潮中，智源推出國內(nèi)首個大模型開源體系，也更加希望保持冷靜的理性思考，探索還能為人工智能前沿研發(fā)底層環(huán)境做些什么。

作為非營利機構(gòu)，智源一直聚焦打造有重大技術(shù)挑戰(zhàn)、需要緊密工程協(xié)作、長期攻關(guān)的重大系統(tǒng)級成果。相較于近期的商業(yè)化熱潮，智源顯然更關(guān)心技術(shù)本身，與大模型領(lǐng)域的長期發(fā)展。

大模型在中國起飛之初，智源是當(dāng)之無愧的引領(lǐng)者。過去幾年，已經(jīng)積累了冰山之下大模型的技術(shù)棧。這是智源做大模型開源這件事的底氣。

坐落在「宇宙中心」五道口，智源匯聚了來自北大、清華、人大、中科院等學(xué)術(shù)高地的AI人才。作為中立非營利創(chuàng)新科研機構(gòu)，相比高校與企業(yè)，一方面可以更好地匯集企業(yè)、學(xué)界資源集中力量做大事；另一方面非商業(yè)不逐利，愿意尊重科研創(chuàng)新規(guī)律，讓科研人員在自由的環(huán)境中充分進行創(chuàng)造力探索。

對有價值問題的聚焦，使得其成為上一波大模型熱潮中的頭雁。

2020年OpenAI發(fā)布GPT-3，智源立即喊出“大模型時代即將到來”的AI未來圖景，堅定奔走推動大模型研究路線，并迅速組織了“悟道”大模型攻關(guān)團隊，訓(xùn)練出了中文預(yù)訓(xùn)練語言模型CPM?！拔虻馈眻F隊的成員，目前已成為國內(nèi)大模型研究的中堅力量。

之后，智源繼續(xù)加大對大模型的投入，在2021年3月發(fā)布了大模型項目“悟道1.0”，包含中文語言、圖文多模態(tài)、認知和蛋白質(zhì)序列預(yù)測四個方向的模型。3個月后，智源又推出創(chuàng)造當(dāng)時“全球最大”紀錄的“悟道2.0”大模型項目。

如今，大模型無限堆參數(shù)的熱潮已經(jīng)冷卻，如何在大模型的封閉生態(tài)形成前，推動建立大模型開源體系，擁抱開源開放，鼓勵人工智能的底層技術(shù)創(chuàng)新集體熱情？

黃鐵軍斷言：「不可能、也不應(yīng)該有任何一家企業(yè)來完全封閉地主導(dǎo)大模型這么一個重要的方向?！?/p>

大模型的重要性在于，它通過一個通用模型來完成多場景任務(wù)，作為底座能夠誕生無數(shù)AI應(yīng)用，因而是AI時代的基礎(chǔ)設(shè)施。而從技術(shù)層面來講，當(dāng)前的大模型仍具有諸多難以透徹理解的黑箱特性，因此更加需要以開源開放的方式讓大模型更安全地提供服務(wù)。

而開源本身也已經(jīng)成為必然趨勢。以操作系統(tǒng)為例，為何大家都愿意用開源的操作系統(tǒng)？對于商業(yè)公司而言，使用開源產(chǎn)品帶來的并非僅僅是成本的降低，更重要的是風(fēng)險的降低和質(zhì)量的提高。由一家企業(yè)維護的閉源項目一旦終止，用戶就要遷移全部技術(shù)棧，但開源不會出現(xiàn)這種風(fēng)險，而且技術(shù)問題在開源的情況下也能更快得到解決。

對于研發(fā)成本極大的大模型而言，開源更是能夠集約資源、匯聚人類智慧，避免重復(fù)造輪子。智源已經(jīng)在大模型開源這條路上走了一段距離?！肝虻馈瓜盗心Ｐ鸵呀?jīng)在持續(xù)開源，包括「悟道2.0」通用語言大模型GLM、「悟道3.0」視覺預(yù)訓(xùn)練大模型EVA、視覺通用多任務(wù)模型Painter、文生圖大模型AltDiffusion等等。

過去，智源匯集承載產(chǎn)學(xué)研各界力量推動大模型研究事業(yè)；現(xiàn)在，智源正在推進更艱巨的大模型開源開放生態(tài)建設(shè)——推出了FlagOpen（飛智）大模型技術(shù)開源體系。

3FlagOpen：大模型時代的「Linux」

大模型的技術(shù)創(chuàng)新涉及算法、模型、數(shù)據(jù)、工具、評測等各個層面，因此FlagOpen開源體系也全面涵蓋了這些模塊，能夠讓開發(fā)者和企業(yè)更快、更低門檻地上手大模型的研發(fā)。

智源之所以選擇在當(dāng)下發(fā)布FlagOpen開源體系，其中一個考慮也是因為看到在這一波ChatGPT熱潮中，許多以往沒有大模型研發(fā)經(jīng)驗的初創(chuàng)團隊，也開始嘗試自研大模型，對他們而言，F(xiàn)lagOpen來得非常及時。

FlagOpen開源體系中的重頭戲，是一個大模型算法、模型及工具一站式開源項目FlagAI。該項目已經(jīng)涵蓋了各領(lǐng)域的一些明星大模型，如語言大模型OPT、T5，視覺大模型ViT、Swin Transformer，多模態(tài)大模型CLIP等，以及智源自家的大模型。

這些大模型在實際調(diào)用和復(fù)現(xiàn)過程中的技術(shù)門檻很高，為此FlagAI集成了很多主流大模型算法技術(shù)，以及多種大模型并行處理和訓(xùn)練加速技術(shù)，并且支持微調(diào)，開箱即用的方式對開發(fā)者非常友好。

大模型生態(tài)的另一要素是AI硬件評測，AI軟硬件技術(shù)棧異構(gòu)程度高、兼容性差，應(yīng)用場景復(fù)雜多變，都給評測帶來了很多挑戰(zhàn)。

FlagPerf搭建的AI硬件評測體系，提供了可直接下載且適配各家芯片的整套評測軟件，能大大降低用戶企業(yè)和芯片企業(yè)的人力成本。

FlagPerf的推出，也體現(xiàn)了智源開源開放的決心。一方面，不同于目前知名的AI基準評測MLperf，F(xiàn)lagPerf不搞排名榜單，且及時跟進最新的大模型基準；另一方面，其他大廠企業(yè)做的評測本身有其商業(yè)訴求，不夠開放，而智源作為中立機構(gòu)，建立評測體系的目的是為了讓大模型產(chǎn)業(yè)更加成熟，所以評測涵蓋各種芯片，而非僅僅某一款，并且支持多種深度學(xué)習(xí)框架，對用戶企業(yè)的選擇不加限制。

也正因如此，智源第一時間就把多個廠商和團隊拉了進來，包括天數(shù)智芯、百度PaddlePaddle、昆侖芯科技、中國移動等，一同推進AI硬件評測建設(shè)。林詠華談道，「我們首先希望它先變成一個事實的基準。所謂事實基準是大家評測硬件的時候都愛用它，至于未來要不要發(fā)展成產(chǎn)業(yè)的標準，我們順其自然?！?/p>

科學(xué)、公開的大模型評測基準及工具，同樣是大模型取得技術(shù)進步的重要條件。尤其是當(dāng)下AIGC的應(yīng)用越發(fā)火熱，行業(yè)亟需對模型在AI生成任務(wù)上的評估?；A(chǔ)大模型評測開源項目FlagEval為此提供了覆蓋多種模態(tài)和測評維度的評測工具，其中就包括多模態(tài)領(lǐng)域的CLIP系列模型。

在數(shù)據(jù)方面，智源構(gòu)建了支撐大模型訓(xùn)練的WuDaoCorpora語料庫，包含文本、對話、圖文對、視頻文本對四類數(shù)據(jù)。FlagData還集成了包含清洗、標注、壓縮、統(tǒng)計分析等功能在內(nèi)的多個數(shù)據(jù)處理工具與算法。

在AI走向工程化的趨勢下，大型數(shù)據(jù)集的構(gòu)建正在成為中國的巨大機會，這個過程需要更大、更開放的協(xié)作。智源此次發(fā)布的OpenLabel是中文世界首個開放數(shù)據(jù)標注平臺，它轉(zhuǎn)動了數(shù)據(jù)飛輪，正持續(xù)為大模型提供訓(xùn)數(shù)據(jù)源。

除了以上四大模塊，F(xiàn)lagOpen開源體系中還涵蓋了文生圖開源項目集合FlagStudio，以及AI應(yīng)用微服務(wù)框架開源項目FlagBoot，為大模型的研發(fā)和應(yīng)用開放了全方位的能力。

FlagOpen專門圍繞大模型而搭建的開源體系，這也是它與其它開源平臺的區(qū)別所在。國外有HuggingFace、國內(nèi)有魔搭社區(qū)（Model Scope），而關(guān)于FlagOpen的定位，林詠華解釋：

「我們不只是想構(gòu)建一個很多人參與的繁華社區(qū)，更是希望推動大模型技術(shù)的發(fā)展。」

從產(chǎn)品的角度講，F(xiàn)lagOpen為用戶在研發(fā)大模型的需求上提供了一個更合適的選擇。針對“開源的不如閉源”說法，黃鐵軍認為，開源開放是一個大趨勢，開源形式的產(chǎn)品將會占據(jù)比較大的份額，而在一個特定方向上某個閉源產(chǎn)品做得更好，這一點并不奇怪。

「這不等于誰打敗誰了，而是大家在滿足自己需求時所做的不同選擇?！咕拖馤inux成功在市場競爭中占據(jù)主要份額，但它不是把所有操作系統(tǒng)都打敗了。

FlagOpen剛剛邁出了開源第一步。智源開源的策略并非等一切都足夠完備再開源，而是把種子點做了之后就開源，這樣可以更快地推動企業(yè)和團隊在非商業(yè)合作協(xié)議下互相合作。比如，AI 硬件評測開源項目是先從最難也最短缺的訓(xùn)練端做起，這一塊做好了推理端便不是難點。

類比13年前云計算開源平臺OpenStack的起家，Rackspace和NASA合伙做了Nova并將其作為種子開源，同時成立了OpenStack基金會，讓更多企業(yè)一起參與貢獻，這才有了國內(nèi)今天所有的云計算廠商。

這也是智源做大模型開源的初心。而對于FlagOpen的未來，智源的期待是將其打造成大模型時代的「Linux」。

「什么叫一個開源項目成功了？就是大多數(shù)做產(chǎn)品和服務(wù)的企業(yè)都用這樣的開源體系，就像Linux和Risc-V的開源開放帶來了廣泛采用，希望FlagOpen在智能時代也能發(fā)揮類似的作用?！?/p>

審核編輯 ：李倩