電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）近日，英偉達(dá)與慕尼黑大學(xué)等院校的研究人員聯(lián)合發(fā)布了一篇有關(guān)視頻潛在擴(kuò)散模型（VideoLDM，Latent Diffusion Model）的論文，該模型能夠?qū)⑽谋巨D(zhuǎn)換成視頻，實(shí)現(xiàn)高分辨率的長視頻合成。

研究人員指出，該模型其中一大具有潛力的應(yīng)用領(lǐng)域，是駕駛數(shù)據(jù)的高分辨率視頻合成，能夠模擬特定駕駛場景，在自動(dòng)駕駛領(lǐng)域中具有巨大的應(yīng)用潛力。

AI大模型在自動(dòng)駕駛領(lǐng)域的應(yīng)用探索

當(dāng)下，文字大模型、文生圖大模型發(fā)展迅速，受限于視頻訓(xùn)練數(shù)據(jù)的計(jì)算成本高昂以及缺乏大規(guī)模公開可用的數(shù)據(jù)集等原因，視頻大模型的發(fā)展相對較慢。VideoLDM則成功解決了這個(gè)關(guān)鍵問題。

從原理上來分析，VideoLDM基于圖像數(shù)據(jù)集預(yù)訓(xùn)練，并在此基礎(chǔ)上加入時(shí)間維度以形成視頻框架，最后在編碼的視頻序列上進(jìn)行微調(diào)，得到視頻生成器。

目前，VideoLDM生成視頻的最高分辨率可達(dá)2048×1280、24幀。在論文中，該研究團(tuán)隊(duì)給出了幾個(gè)駕駛場景視頻的生成案例：



在自動(dòng)駕駛領(lǐng)域，AI大模型被認(rèn)為能夠賦能感知標(biāo)注、決策推理等環(huán)節(jié)。今年4月11日，毫末智行了一款自動(dòng)駕駛生成式大模型DriveGPT，中文名雪湖·海若。據(jù)介紹，毫末DriveGPT雪湖·海若現(xiàn)階段主要用于解決自動(dòng)駕駛的認(rèn)知決策問題。

DriveGPT雪湖·海若的底層模型采用GPT（Generative Pre-trained Transformer）生成式預(yù)訓(xùn)練大模型，與ChatGPT使用自然語言進(jìn)行輸入與輸出有所不同，DriveGPT輸入是感知融合后的文本序列，輸出是自動(dòng)駕駛場景文本序列，即將自動(dòng)駕駛場景Token化，形成“Drive Language”，最終完成自車的決策規(guī)控、障礙物預(yù)測以及決策邏輯鏈的輸出等任務(wù)。

毫末表示，DriveGPT雪湖·海若首發(fā)車型新摩卡DHT-PHEV，即將量產(chǎn)上市。DriveGPT雪湖·海若可以逐步應(yīng)用到城市NOH、捷徑推薦、智能陪練以及脫困場景中。

汽車是AI大模型一大重要應(yīng)用場景

隨著眾多AI大模型的發(fā)展，其商業(yè)應(yīng)用場景也引起諸多思考，其中汽車被認(rèn)為是其中一大重要的應(yīng)用場景。最近，百度、阿里、商湯發(fā)布AI大模型，都在汽車智能方面展示出能力。

3月16日，百度正式發(fā)布文心一言，在發(fā)布會(huì)上，李彥宏展示了文心一言在文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理推算、中文理解、多模態(tài)生成五個(gè)使用場景中的綜合能力。

其中在多模態(tài)生成方面，文心一言展示出了文本、圖片、音頻和視頻的生成能力。李彥宏表示，多模態(tài)是生成式AI一個(gè)明確的發(fā)展趨勢。未來，隨著百度多模態(tài)統(tǒng)一大模型的能力增強(qiáng)，文心一言的多模態(tài)生成能力會(huì)不斷提升。

文心一言發(fā)布之后，長安汽車官宣，旗下逸達(dá)將成為國內(nèi)首款搭載文心一言的量產(chǎn)車型，后續(xù)將通過軟件升級(jí)的形式搭載到新車上。除了長安汽車外，集度、吉利、嵐圖、紅旗、長城、東風(fēng)日產(chǎn)、愛馳、零跑、海馬等多家車企都已確認(rèn)將內(nèi)測體驗(yàn)并接入其相關(guān)能力，與百度共同打造針對汽車智能場景的大模型人工智能交互體驗(yàn)。

4月11日，阿里也正式發(fā)布其AI大模型通義千問。與文心一言、ChatGPT類似，作為大語言模型，通義千問支持多輪交互及復(fù)雜指令理解、多模態(tài)融合以及外部增強(qiáng)API，能夠?qū)崿F(xiàn)多輪對話、文案創(chuàng)作、邏輯推理、多模態(tài)理解、多語言支持等功能。

在近日第二十屆上海國際汽車工業(yè)展覽會(huì)上，阿里集團(tuán)副總裁、斑馬智行CEO張春暉談到，汽車是大模型最大的交互應(yīng)用場景，智能汽車操作系統(tǒng)將會(huì)被重塑。他表示，AliOS智能汽車操作系統(tǒng)已接入通義千問大模型進(jìn)行測試，相關(guān)技術(shù)會(huì)率先在智己汽車上落地。

商湯科技推出的“日日新SenseNova”大模型體系，含中文語言大模型應(yīng)用平臺(tái)“商量SenseChat”、圖片生成模型“秒畫SenseMirage”、AI數(shù)字人視頻生成平臺(tái)“如影SenseAvatar”、3D內(nèi)容生成平臺(tái)“瓊宇SenseSpace”和“格物SenseThings”等，

在此次展會(huì)上，商湯科技展示了其大模型在車艙智能化方面的實(shí)力，商湯語言大模型“商量SenseChat”會(huì)與嘉賓交流互動(dòng)，并推薦個(gè)性化體驗(yàn)內(nèi)容。商量SenseChat還支持郵件模式，會(huì)自動(dòng)提煉郵件關(guān)鍵信息，幫助用戶節(jié)省閱讀時(shí)間。“秒畫SenseMirage”文生圖創(chuàng)作平臺(tái)亦首次與展示艙結(jié)合，借助商湯AIGC模型能力自動(dòng)為嘉賓生成各種風(fēng)格的照片。

在“日日新SenseNova”大模型體系的支持，其自動(dòng)駕駛產(chǎn)品方案也獲得持續(xù)創(chuàng)新的能力。商湯絕影率先實(shí)現(xiàn)BEV感知在國內(nèi)首批量產(chǎn)落地，還首創(chuàng)自動(dòng)駕駛GOP感知體系，充分提升數(shù)據(jù)利用效率，引領(lǐng)感知技術(shù)突破。

商湯絕影的自動(dòng)駕駛GOP感知體系可將目標(biāo)數(shù)據(jù)獲取的人力成本降低94%，目前已投入量產(chǎn)。憑借通用視覺模型，絕影有效實(shí)現(xiàn)了對超過3000種物體目標(biāo)的高精度識(shí)別，降低智能駕駛系統(tǒng)對激光雷達(dá)和高精度地圖的依賴。

小結(jié)

今年以來，AI大模型的發(fā)展如火如荼，國內(nèi)外眾多科技企業(yè)紛紛入局。隨著各種AI大模型陸續(xù)發(fā)布，其商業(yè)應(yīng)用場景也引起業(yè)界關(guān)注，而汽車被認(rèn)為是其中一大重要的應(yīng)用場景。

從目前的情況來看，百度、阿里發(fā)布的AI大模型已經(jīng)在推進(jìn)汽車領(lǐng)域的應(yīng)用。不過當(dāng)前主要還是在智能座艙方面，用于人工智能交流對話等領(lǐng)域，在自動(dòng)駕駛方面的應(yīng)用少有提及。估計(jì)原因在于，雖然其AI大模型都具有視頻生成能力，但這方面的能力還有待升級(jí)。就如李彥宏在發(fā)布會(huì)上就提到，視頻生成能力方面，因?yàn)槌杀据^高，現(xiàn)階段還未對所有用戶開放，當(dāng)然未來會(huì)逐步接入。

可以看到，AI大模型在汽車的智能座艙、自動(dòng)駕駛等領(lǐng)域都將有所作為，業(yè)界也正在推進(jìn)AI大模型加速上車，預(yù)計(jì)在智能座艙方面會(huì)率先落地，而在自動(dòng)駕駛方面還需要在視頻能力方面有更多突破。而英偉達(dá)此次發(fā)布視頻模型論文，可能會(huì)起到一定的引領(lǐng)作用。