此前，北京時(shí)間6月11-14日，計(jì)算機(jī)視覺頂會(huì)CVPR 2025在美國田納西州納什維爾舉行，小鵬汽車受邀參與自動(dòng)駕駛研討會(huì)CVPR WAD（Workshop on Autonomous Driving），與Waymo、英偉達(dá)、加利福尼亞大學(xué)洛杉磯分校（UCLA）、圖賓根大學(xué)（University of Tuebingen）等來自工業(yè)界和學(xué)術(shù)界的自動(dòng)駕駛同行共同探討業(yè)界最新AI技術(shù)。

CVPR是AI與計(jì)算機(jī)視覺領(lǐng)域的頂級學(xué)術(shù)會(huì)議，與 ICCV、ECCV 并稱計(jì)算機(jī)視覺三大頂級會(huì)議，每年都被自動(dòng)駕駛業(yè)界和學(xué)界視為前沿技術(shù)交流的窗口。

CVPR舉辦的自動(dòng)駕駛研討會(huì)（CVPR WAD）歷時(shí)已有八屆，是全球最具權(quán)威性的自動(dòng)駕駛技術(shù)會(huì)議之一。小鵬汽車是由大會(huì)邀請，到場分享自動(dòng)駕駛基座模型研發(fā)進(jìn)展的唯一中國車企。

AI大模型浪潮以來，自動(dòng)駕駛領(lǐng)域發(fā)生了技術(shù)范式的切換，已經(jīng)從過去人類手寫規(guī)則的模型，升級為基于海量數(shù)據(jù)訓(xùn)練出的AI模型，相關(guān)技術(shù)進(jìn)展也成了這幾年CVPR的大熱議題。

在本屆的CVPR WAD上，小鵬世界基座模型負(fù)責(zé)人劉先明博士發(fā)表了題為《通過大規(guī)?；A(chǔ)模型實(shí)現(xiàn)自動(dòng)駕駛的規(guī)?；罚⊿caling up Autonomous Driving via Large Foudation Models）的演講，系統(tǒng)地介紹了小鵬汽車自研的業(yè)界首個(gè)超大規(guī)模自動(dòng)駕駛基座模型的歷程和方法，披露了其在模型預(yù)訓(xùn)練、強(qiáng)化學(xué)習(xí)、模型車端部署、AI和數(shù)據(jù)基礎(chǔ)設(shè)施搭建方面的前沿探索，為同行帶去工業(yè)領(lǐng)域的實(shí)踐經(jīng)驗(yàn)。

同一天，在大洋此岸的中國廣州，小鵬汽車宣布推出全球首款搭載L3級算力平臺(tái)的AI汽車——小鵬G7，并且在行業(yè)內(nèi)首次提出了「L3級算力平臺(tái)」的兩大標(biāo)準(zhǔn)：

第一，“有效算力”大于2000TOPS；

第二，搭載本地部署的「VLA+VLM模型」。小鵬汽車認(rèn)為，「大算力+物理世界大模型+大數(shù)據(jù)」將共同定義未來“AI汽車”的能力上限。

今年4月，小鵬汽車已對外宣布正在研發(fā)參數(shù)規(guī)模達(dá)到720億的云端大模型，即“小鵬世界基座模型”。

該基座模型是以大語言模型為骨干網(wǎng)絡(luò)，使用海量優(yōu)質(zhì)駕駛數(shù)據(jù)訓(xùn)練的VLA大模型（視覺-語言的-行為大模型），具備視覺理解能力、鏈?zhǔn)酵评砟芰Γ–oT）和動(dòng)作生成能力。目前，小鵬汽車已經(jīng)在后裝算力的車端上用小尺寸的基座模型實(shí)現(xiàn)了控車。在沒有任何規(guī)則代碼托底的情況下，新的“AI大腦”展現(xiàn)出令人驚喜的基礎(chǔ)駕車技能，能夠絲滑地加減速、變道繞行、轉(zhuǎn)彎掉頭、等待紅綠燈等等。

劉博士表示，小鵬汽車已經(jīng)在云上訓(xùn)練了10億、30億、70億、720億等多個(gè)參數(shù)的模型，并且持續(xù)向模型“投喂”更大規(guī)模的訓(xùn)練數(shù)據(jù)。目前，小鵬世界基座模型累計(jì)“吃下”2000多萬條視頻片段（每條時(shí)長30秒）。

在這一過程中，研發(fā)團(tuán)隊(duì)清晰地看到了規(guī)模法則（Scaling Law）的顯現(xiàn)。也就是說，模型的參數(shù)量越大、模型學(xué)習(xí)的數(shù)據(jù)越多，模型的性能越強(qiáng)。這是AI大模型浪潮以來，行業(yè)內(nèi)首次明確驗(yàn)證規(guī)模法則在自動(dòng)駕駛VLA模型上持續(xù)生效。

目前，業(yè)界主流的車端模型參數(shù)一般在幾百萬到十億級別。在車端直接訓(xùn)練小模型，規(guī)模法則沒有發(fā)揮空間，模型的性能上限也很難提升，更無從實(shí)現(xiàn)強(qiáng)大的鏈?zhǔn)酵评淼饶芰Α?/p>

基于這一判斷，小鵬汽車早在去年就確定了云端基模技術(shù)路線，也即在云端“不計(jì)成本”地訓(xùn)練超大規(guī)模世界基座模型，再通過蒸餾的方式生產(chǎn)出適配車端算力的小模型。蒸餾能夠最大限度地保留云端基模的核心能力，幫助車端模型跳出車端算力的“一畝三分地”。

在規(guī)則時(shí)代，自動(dòng)駕駛能否從L2輔助駕駛進(jìn)化到L4自動(dòng)駕駛是一個(gè)頗具爭議的議題。在規(guī)則時(shí)代，自動(dòng)駕駛模型其實(shí)屬于“模仿學(xué)習(xí)”模型，這意味它只能處理訓(xùn)練數(shù)據(jù)中見過的場景。而自動(dòng)駕駛核心難點(diǎn)在于處理更罕見的、復(fù)雜的、事關(guān)安全的長尾問題，但通常這些問題發(fā)生概率極低，因此往往沒有足夠的數(shù)據(jù)供模型學(xué)習(xí)。

到了AI時(shí)代，全新的解法已然出現(xiàn)，“強(qiáng)化學(xué)習(xí)”成為了提升模型思考能力、幫助模型處理長尾場景的重要手段。小鵬汽車證實(shí)了“云端基座模型+強(qiáng)化學(xué)習(xí)”的組合，是讓模型性能突破上限的最佳方法。

值得注意的是，小鵬世界基座模型并不是靜態(tài)的，它在持續(xù)學(xué)習(xí)、循環(huán)進(jìn)化（Continued Online Learning）。可以 將模型的迭代過程分成內(nèi)、外兩個(gè)循環(huán)，內(nèi)循環(huán)是指包含預(yù)訓(xùn)練、后訓(xùn)練（包括監(jiān)督精調(diào)SFT和強(qiáng)化學(xué)習(xí)RL）和蒸餾部署的模型訓(xùn)練過程；外循環(huán)，是指模型在車端部署之后，持續(xù)獲取新的駕駛數(shù)據(jù)和用戶反饋，繼續(xù)用于云端基模的訓(xùn)練。

自成立至今十多年，小鵬現(xiàn)有幾十萬量輔助駕駛車輛跑在全國各地，源源不斷地創(chuàng)造著新的訓(xùn)練數(shù)據(jù)，包括大量的長尾場景數(shù)據(jù)，劉博士指出：“強(qiáng)化學(xué)習(xí)非常講究數(shù)據(jù)采樣，非常依賴來自真實(shí)世界的數(shù)據(jù)?！?/p>

在此次CVPR WAD上，劉博士所提出的“軟件3.0時(shí)代，打造云端工廠，開啟AI時(shí)代模型生產(chǎn)新范式”同樣讓現(xiàn)場參會(huì)者留下了深刻的印象。事實(shí)上，為了研發(fā)世界基座模型，小鵬汽車從去年便開始布局AI基礎(chǔ)設(shè)施，建成了國內(nèi)汽車行業(yè)首個(gè)萬卡智算集群，用以支持基座模型的預(yù)訓(xùn)練、后訓(xùn)練、模型蒸餾、車端模型訓(xùn)練等任務(wù)。小鵬汽車將這套從云到端的生產(chǎn)流程稱為“云端模型工廠”。

目前，這個(gè)“云端工廠”擁有10 EFLOPS的算力，集群運(yùn)行效率常年保持在90%以上，全鏈路迭代周期可達(dá)平均5天一次。如此算力規(guī)模和運(yùn)營效率，對標(biāo)的是頭部AI企業(yè)。

在大模型時(shí)代，想成為一流的自動(dòng)駕駛公司，首先必須成為一流的AI公司。

在大會(huì)現(xiàn)場，小鵬汽車首次展示了兩個(gè)核心數(shù)據(jù)：小鵬云上基模訓(xùn)練過程中，處理了超過 40萬小時(shí)的視頻數(shù)據(jù)；流式多處理器的利用率（streaming multiprocessor utilization，即SM utilization）達(dá)到 85%。前者代表云端數(shù)據(jù)處理能力，后者所提及的“流式多處理器”是 GPU 的核心計(jì)算單元。SM利用率是評判GPU計(jì)算資源使用效率的重要指標(biāo)。

此外，劉博士還從云端模型訓(xùn)練和車端模型部署兩個(gè)層面，拆解了小鵬汽車自動(dòng)駕駛團(tuán)隊(duì)提升世界基座模型訓(xùn)練效率的方法。

在模型訓(xùn)練層面，小鵬的研發(fā)團(tuán)隊(duì)在CPU、GPU等方面做了聯(lián)合優(yōu)化，“VLM、VLA等多模態(tài)模型不同于LLM，訓(xùn)練過程不只受限于計(jì)算瓶頸，還受到數(shù)據(jù)加載瓶頸、通信瓶頸的限制，大規(guī)模并行訓(xùn)練首先要解決這些問題?！?/p>

在車端模型部署層面，小鵬汽車有一個(gè)與眾不同的優(yōu)勢：自研的圖靈AI芯片專為AI大模型而定制，模型、編譯器、芯片團(tuán)隊(duì)針對下一代模型開展了充分的聯(lián)合研發(fā)工作，比如定制 AI 編譯器以最大化執(zhí)行效率，協(xié)同設(shè)計(jì)硬件友好、量化友好的模型架構(gòu)，確保軟硬件充分耦合，最終“榨干”車端算力。

“車端計(jì)算量的重要來源是輸入的 Token （詞元）數(shù)量。以配備了 7 個(gè)攝像頭的 VLA 模型為例，每輸入約 2 秒視頻內(nèi)容，會(huì)產(chǎn)生超過 5000 個(gè)Token。我們一方面要壓縮輸入中的冗余信息，降低計(jì)算延遲。另一方面還要確保輸入視頻的長度，以獲得更豐富的上下文信息。”

劉博士稱，小鵬團(tuán)隊(duì)創(chuàng)新設(shè)計(jì)了針對VLA模型的 Token 壓縮方法，可在不影響上下文長度的情況下，將車端芯片的Token處理量壓縮70%，比如將5000Token壓縮到1500Token。”

回到小鵬汽車此次在CVPR WAD分享本身，作為唯一受邀演講的中國車企，以技術(shù)創(chuàng)新為源動(dòng)力的小鵬汽車將經(jīng)過幾十萬用戶驗(yàn)證的自動(dòng)駕駛實(shí)踐成果反哺學(xué)術(shù)界，以“商業(yè)-科研”的良性循環(huán)，為全球自動(dòng)駕駛研究注入了寶貴的動(dòng)力。