2024年6月14日，一場(chǎng)人工智能領(lǐng)域的頂級(jí)盛宴——“2024北京智源大會(huì)”，在享譽(yù)全球的中關(guān)村展示中心拉開(kāi)了帷幕。這場(chǎng)會(huì)議引起了廣泛關(guān)注，各路英豪齊聚一堂，聚焦于大模型在人工智能領(lǐng)域的未來(lái)發(fā)展趨勢(shì)及相關(guān)重要議題進(jìn)行深入探討與交流。其中，零一萬(wàn)物首席執(zhí)行官李開(kāi)復(fù)先生，以及清華大學(xué)智能產(chǎn)業(yè)研究院院長(zhǎng)張亞勤教授，共同擔(dān)任本次大會(huì)的主持人，他們的觀點(diǎn)和見(jiàn)解無(wú)疑為我們揭示了大模型在人工智能領(lǐng)域取得巨大成功背后的深層原因，同時(shí)也指出了大模型在發(fā)展過(guò)程中所面臨的諸多挑戰(zhàn)和難題。

李開(kāi)復(fù)先生在會(huì)上表示，人工智能2.0是人類歷史上最為偉大的科技革命之一，也是一次前所未有的平臺(tái)革命。而大模型的崛起，正是得益于這個(gè)時(shí)代對(duì)于大規(guī)模數(shù)據(jù)處理和強(qiáng)大計(jì)算能力的需求。隨著計(jì)算能力和數(shù)據(jù)量的不斷增長(zhǎng)，大模型的智慧也在不斷提升，然而，這只是剛剛開(kāi)始，我們尚未觸碰到大模型智慧的極限。

然而，大模型在發(fā)展過(guò)程中也遇到了一系列挑戰(zhàn)。例如，如果我們過(guò)分強(qiáng)調(diào)通過(guò)增加計(jì)算能力來(lái)推動(dòng)大模型的進(jìn)步，那么這可能會(huì)導(dǎo)致只有擁有大量GPU資源的企業(yè)和國(guó)家才能在這場(chǎng)競(jìng)爭(zhēng)中脫穎而出。然而，值得注意的是，盡管在某些特定場(chǎng)景下，中國(guó)的大模型已經(jīng)接近甚至超越了美國(guó)的大模型，但這并不意味著我們可以忽視算法和工程創(chuàng)新的協(xié)同推進(jìn)。

除此之外，大模型還面臨著記憶問(wèn)題、窗口長(zhǎng)度問(wèn)題、幻覺(jué)問(wèn)題等諸多挑戰(zhàn)。然而，我們應(yīng)該看到，隨著全球眾多優(yōu)秀人才紛紛投身于這個(gè)領(lǐng)域，這些問(wèn)題正在逐漸得到解決。因此，我們對(duì)于大模型的未來(lái)充滿信心。

張亞勤教授則從大模型的“三個(gè)做得好”和“三個(gè)需要改進(jìn)”兩個(gè)角度出發(fā)，對(duì)大模型的現(xiàn)狀進(jìn)行了全面分析。他認(rèn)為，大模型之所以能取得今天的成就，主要得益于規(guī)模定律的實(shí)現(xiàn)，以及對(duì)海量數(shù)據(jù)的有效利用和算力的大幅提升。同時(shí)，當(dāng)前的擴(kuò)散和轉(zhuǎn)換架構(gòu)也能夠高效地利用算力和數(shù)據(jù)，從而形成了良性循環(huán)。至少在未來(lái)五年內(nèi)，大模型仍然將是人工智能產(chǎn)業(yè)發(fā)展的主導(dǎo)方向。

構(gòu)建大模型中，“ Token ”被視為底層基石的構(gòu)成部分。無(wú)論是字詞句段、音聲圖像、視頻文件乃至自動(dòng)化駕駛所依賴的激光雷達(dá)信號(hào)，亦或是生物學(xué)界探討的蛋白質(zhì)及細(xì)胞層面，無(wú)一例外地均可轉(zhuǎn)化為一個(gè)個(gè)獨(dú)立且抽象的“ Token ”。這些“ Token ”之間的訓(xùn)練、學(xué)習(xí)以及生成過(guò)程，無(wú)疑是整個(gè)大模型運(yùn)作的核心所在，其運(yùn)作模式與人體大腦內(nèi)神經(jīng)元的工作原理頗為相似，無(wú)論面臨何種任務(wù)挑戰(zhàn)，其基本運(yùn)作機(jī)制始終保持不變。

如今的大模型，其通用性已不再局限于傳統(tǒng)的文本處理領(lǐng)域，而是已經(jīng)拓展至多模態(tài)領(lǐng)域，甚至具備了生成諸如蛋白質(zhì)這類復(fù)雜結(jié)構(gòu)的能力。更為重要的是，大模型在物理世界（例如具身智能）以及生物世界（例如生物智能）中同樣具有廣闊的應(yīng)用前景。

針對(duì)當(dāng)前階段大模型所面臨的主要問(wèn)題，他指出，首要問(wèn)題便是效率相對(duì)較低。尤其是大模型在計(jì)算效率方面的不足，與人類大腦的高效運(yùn)作形成了鮮明的反差。盡管人類大腦僅由 860 億個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元又擁有數(shù)千個(gè)突觸連接，但其所需能耗僅為 20 瓦，重量更是輕盈到不足三公斤；然而，GPT4 這樣一個(gè)擁有萬(wàn)億參數(shù)的模型，卻需消耗大量的算力和能源，與人類大腦的效率相比，差距高達(dá) 1000 倍之巨。除此之外，人類大腦能夠依據(jù)不同情境靈活調(diào)動(dòng)各個(gè)區(qū)域的神經(jīng)元，而大模型在每次接收一個(gè)問(wèn)題時(shí)，都需要調(diào)用并激活幾乎所有的參數(shù)。因此，如何借鑒人類大腦的計(jì)算策略，以期在降低計(jì)算能耗、提升效率方面取得突破性的進(jìn)展，無(wú)疑是一個(gè)值得深入研究和探索的方向。

其次，大模型目前尚不能真正理解物理世界，相關(guān)的推理能力、透明度以及幻覺(jué)等問(wèn)題仍然有待進(jìn)一步深入研究。大模型在生成式表述與對(duì)真實(shí)世界的描繪之間依然存在著難以調(diào)和的矛盾。因此，我們亟待尋找一種方式，將生成式的概率大模型與現(xiàn)有的“第一性原理”或真實(shí)模型、知識(shí)圖譜有機(jī)地融合起來(lái)。他預(yù)測(cè)，在未來(lái)五年之內(nèi)，一種全新的架構(gòu)有望應(yīng)運(yùn)而生，這種架構(gòu)有望替代現(xiàn)行的 Transformer 和 Diffusion 模型。

最后，大模型在邊界問(wèn)題上的表現(xiàn)也不盡如人意。目前，大模型無(wú)法明確感知自身的“無(wú)知”之處，這正是我們當(dāng)前需要解決的問(wèn)題，也是大模型所面臨的邊界效應(yīng)。