自動(dòng)駕駛是機(jī)器人技術(shù)和機(jī)器學(xué)習(xí)中的一項(xiàng)重大挑戰(zhàn)，旨在改善所有人的出行方式。盡管過去十年取得了巨大的進(jìn)展，現(xiàn)有的自動(dòng)駕駛軟件在處理極其罕見的長尾場景方面依然存在局限性。因此，實(shí)時(shí)檢測并對突發(fā)異常做出響應(yīng)，對于確保安全性和可靠性至關(guān)重要。

本期 NVIDIA 自動(dòng)駕駛實(shí)驗(yàn)室介紹了，生成式 AI 技術(shù)被用于增強(qiáng)自動(dòng)駕駛系統(tǒng)的安全性。在這項(xiàng) NVIDIA 與斯坦福大學(xué)的合作中，雙方共同開發(fā)了一個(gè)算法，基于互聯(lián)網(wǎng)規(guī)模數(shù)據(jù)上訓(xùn)練的基礎(chǔ)模型，如大語言模型（LLM）。該算法展現(xiàn)出了零樣本泛化的能力，能夠有效檢測和緩解機(jī)器人系統(tǒng)的分布外故障模式。這一合作成果在 RSS（Robotics：Science and Systems）2024 上榮獲優(yōu)秀論文獎(jiǎng)。

此外，NVIDIA 的快速異常分類器在資源和時(shí)間受限的情況下，也能夠提高動(dòng)態(tài)機(jī)器人系統(tǒng)的可信度，如四旋翼飛行器和自動(dòng)駕駛車輛，其性能優(yōu)于運(yùn)用最先進(jìn) GPT 模型的自回歸推理。這些技術(shù)亮點(diǎn)展示了 NVIDIA 在實(shí)時(shí)異常檢測領(lǐng)域的最新進(jìn)展，也為自動(dòng)駕駛車輛的實(shí)際應(yīng)用提供了強(qiáng)有力的技術(shù)支持。

NVIDIA 提供的物理和具身智能平臺(tái)能夠支持 LLM 在實(shí)際應(yīng)用中的部署。例如NVIDIA DRIVE用于自動(dòng)駕駛汽車，NVIDIA Isaac用于 AI 機(jī)器人。而NVIDIA Omniverse平臺(tái)是構(gòu)建仿真流程以開發(fā)和測試 AI 驅(qū)動(dòng)的自動(dòng)駕駛和機(jī)器人的關(guān)鍵工具，利用 Omniverse 中的生成式 AI 可以生成復(fù)雜的、罕見的駕駛場景。通過這樣的綜合策略，可以將 LLM 整合到嚴(yán)格的安全規(guī)范中，例如安全監(jiān)管、冗余設(shè)計(jì)和仿真測試。

相關(guān)資料

利用大語言模型進(jìn)行實(shí)時(shí)異常檢測和反應(yīng)式規(guī)劃

本文提出了一個(gè)實(shí)時(shí)檢測和決策框架，該框架利用大語言模型（LLM）的零樣本泛化功能，在面對具有挑戰(zhàn)性的異?；驑O端情況時(shí)，促進(jìn)對自主系統(tǒng)的安全和實(shí)時(shí)控制。這是通過推理層次結(jié)構(gòu)實(shí)現(xiàn)的：一個(gè)快速異常檢測器，用于查詢機(jī)器人在 LLM 嵌入空間中先前經(jīng)驗(yàn)的相似性，以及一個(gè)慢速生成推理器，用于評估檢測到的異常安全影響并選擇適當(dāng)?shù)木徑獠呗?。這些推理器與一種新的模型預(yù)測控制策略相配合，保持了多種安全行動(dòng)規(guī)劃的可行性。