未來的汽車將不僅僅是交通運輸方式，而是會成為智能伙伴，將技術(shù)和舒適性無縫結(jié)合，以提升駕駛體驗，并且從內(nèi)到外都將以安全為本。

NVIDIA GTC 于本周在圣何塞會議中心舉行，這次大會將重點關(guān)注 NVIDIA 與合作伙伴正在開展的開創(chuàng)性工作：將生成式 AI、大語言模型（LLM）和視覺語言模型（VLM）的變革力量引入移動出行領(lǐng)域。

NVIDIA 展示了如何通過深度學(xué)習(xí)和 Transformer 模型提供的強大感知、理解和生成能力，來構(gòu)建車載助手，從而提升駕駛員的行車安全、人身安全和舒適度。

探索理論與實踐

LLM 是生成式 AI 的一種形式，在很大程度上代表了一類被稱為 Transformer 模型的深度學(xué)習(xí)架構(gòu)，這類學(xué)習(xí)架構(gòu)是一種擅長學(xué)習(xí)上下文和含義的神經(jīng)網(wǎng)絡(luò)。

視覺語言模型是生成式 AI 的另一類延伸，可提供圖像處理和語言理解功能。傳統(tǒng)或多模態(tài) LLM 主要處理和生成基于文本的數(shù)據(jù)，而 VLM 則不然，它可通過圖像或視頻分析和生成文本。

檢索增強型生成技術(shù)（RAG）允許制造商從特定數(shù)據(jù)庫或網(wǎng)絡(luò)獲取知識，從而為駕駛員提供幫助。

NVIDIA Avatar Cloud Engine（ACE）和多模態(tài)語言模型綜合使用這些技術(shù)，與 NVIDIA DRIVE 平臺協(xié)同工作，從而讓汽車制造商開發(fā)自己的智能車載助手。

例如，借助 Avatar 配置器，設(shè)計師可以為其車型打造獨特的、符合品牌調(diào)性的角色形象，并配有定制的聲音和情感特性。這些 AI 動畫虛擬形象可以自然地完成對話，提供實時的幫助、建議和個性化互動。

此外，AI 增強的周邊環(huán)境可視化利用 360 度攝像頭重建來增強車輛安全性，而智能助手則可以獲取當(dāng)?shù)伛{駛法規(guī)等外部信息來為決策制定提供信息。

個性化至關(guān)重要，在這方面，AI 助手可以學(xué)習(xí)駕駛員和乘客的習(xí)慣，并調(diào)整其行為以滿足乘員的需求。

汽車領(lǐng)域的生成式 AI 在 GTC 大會上大顯身手

多個參與 GTC 大會的 NVIDIA 合作伙伴還展示了他們使用從邊緣到云端的 NVIDIA 技術(shù)所開發(fā)的最新生成式 AI 成果：

賽輪思的 CaLLM 是一個專注于汽車領(lǐng)域的 LLM，其在 NVIDIA DRIVE 上運行，是賽輪思新一代車載計算平臺的基礎(chǔ)。該平臺于去年年底一經(jīng)推出，就被視為車內(nèi)交互的未來，它配備汽車及移動出行專用助手，可提供集成的座艙體驗。賽輪思正在與 NVIDIA 工程團隊協(xié)作，以進一步集成 CaLLM 和 NVIDIA AI Foundation 模型。通過共同努力，賽輪思正在充分利用 NVIDIA DGX 云這一開發(fā)平臺，同時應(yīng)用“護欄”來增強性能，并利用 NVIDIA AI Enterprise 來優(yōu)化推理。今年，NVIDIA 和賽輪思將繼續(xù)與多家汽車 OEM 攜手合作，共同開拓這一解決方案。

Wayve 正在幫助開創(chuàng)自主化具身 AI （Embodied AI）新時代，他們的新一代 AV2.0 采用大型具身 AI 基礎(chǔ)模型處理數(shù)據(jù)。該模型通過學(xué)習(xí)使用 AI 端到端技術(shù)來驅(qū)動自監(jiān)督，實現(xiàn)從輸入感知結(jié)果到輸出駕駛行動的全過程。這家英國初創(chuàng)公司已經(jīng)推出了 GAIA-1，這是一種由 NVIDIA 賦能的生成式世界模型，適用于自動駕駛汽車開發(fā)；該模型可與 LINGO-1 配合使用，LINGO-1 是一款閉環(huán)駕駛評論工具，使用自然語言來增強 AI 駕駛模型的學(xué)習(xí)能力和可解釋性。

理想汽車在去年 6 月推出了多模態(tài)認知模型 Mind GPT。該模型基于開源庫 NVIDIA TensorRT-LLM，是理想汽車 AI 助手“理想同學(xué)”的基礎(chǔ)，具有場景理解、生成、知識保留和推理功能。理想汽車目前正在開發(fā) DriveVLM 來增強自動駕駛能力，使系統(tǒng)能夠理解復(fù)雜的場景，特別是對傳統(tǒng)自動駕駛來說具有挑戰(zhàn)性的場景，例如非結(jié)構(gòu)化道路、罕見異常物體以及意外的交通事件。這一先進模型在 NVIDIA GPU 上進行訓(xùn)練，并利用 TensorRT-LLM 和 NVIDIA Triton 推理服務(wù)器在數(shù)據(jù)中心生成數(shù)據(jù)。借助 NVIDIA DRIVE 和 TensorRT-LLM 的推理優(yōu)化，DriveVLM 可在嵌入式系統(tǒng)上高效運行。

蔚來已推出 NOMI GPT，提供 NOMI 百科問答、座艙氛圍大師、用車助手等智能體驗?；?LLM 提供的功能以及由 NVIDIA AI 堆棧支持的高效計算平臺，NOMI GPT 不僅具有基礎(chǔ)的語音識別和指令執(zhí)行功能，還可以借助深度學(xué)習(xí)來理解和處理車內(nèi)人員更為復(fù)雜的語句和指令。

吉利正在與 NVIDIA 共同致力于提供智能座艙體驗，以及邊云加速協(xié)同。吉利正在應(yīng)用生成式 AI 和 LLM 技術(shù)，使用自然語言處理、對話系統(tǒng)和預(yù)測分析來提供智能導(dǎo)航和語音助手，進而提供更智能、個性化和安全的駕駛體驗。在將 LLM 部署到生產(chǎn)環(huán)境中時，吉利使用 NVIDIA TensorRT-LLM 來實現(xiàn)更高效的推理。對于更復(fù)雜的任務(wù)或需要大規(guī)模數(shù)據(jù)支持的場景，吉利將在云端對大模型進行部署。

Waabi 正在構(gòu)建用于自動駕駛的 AI，并將利用 NVIDIA DRIVE Thor 提供的生成式 AI 能力來實現(xiàn)其突破性的自動貨運解決方案，將安全可靠的自主技術(shù)引入卡車運輸行業(yè)。

聯(lián)想推出了一款名為 UltraBoost 的新型 AI 加速引擎，該引擎將在 NVIDIA DRIVE 上運行，具備 AI 模型引擎和 AI 編譯器工具鏈，可推進車內(nèi) LLM 的部署。

SoundHound AI 使用 NVIDIA 技術(shù)來運行其結(jié)合了實時和生成式 AI 功能的車載語音界面，即使車輛沒有云連接，該界面也能提供響應(yīng)。借助這一解決方案，駕駛員可以訪問 SoundHound 的車輛智能產(chǎn)品，通過自然語音直接從汽車手冊和其他數(shù)據(jù)源即時提供設(shè)置、故障排除和其他信息，而無需紙質(zhì)文檔。

塔塔集團旗下的塔塔咨詢服務(wù)公司利用其基于 AI 的技術(shù)和工程創(chuàng)新，打造了由 NVIDIA GPU 和軟件框架支持的 Automotive GenAI 套件。該套件能夠加速軟件定義車輛的設(shè)計、開發(fā)和驗證，同時充分利用各種 LLM 和 VLM 為車載和基于云的系統(tǒng)提供支持。

MediaTek 宣布推出四款適用于 Dimensity Auto 座艙平臺 （Dimensity Auto Cockpit）產(chǎn)品系列的車規(guī)級 SoC，為從豪華到入門級的新一代智能汽車提供基于 AI 的卓越座艙體驗。為了支持深度學(xué)習(xí)功能，Dimensity Auto 座艙平臺芯片組集成了 NVIDIA 下一代 GPU 加速的 AI 運算和 NVIDIA RTX 圖形處理技術(shù)，支持在車內(nèi)運行 LLM，可賦能車載語音助手、多屏顯示、駕駛警覺性監(jiān)測等先進的 AI 安全和娛樂應(yīng)用。

審核編輯：劉清