隨著數(shù)據(jù)采集設備的優(yōu)化升級，自動駕駛數(shù)據(jù)集也在不斷升級迭代。國內(nèi)外各大自動駕駛公司、研究所都先后推出自動駕駛數(shù)據(jù)集，為未來自動駕駛領域的技術發(fā)展提供重要研究材料。 《自動駕駛開源數(shù)據(jù)體系：現(xiàn)狀與未來》一文系統(tǒng)性地梳理自動駕駛開源數(shù)據(jù)集，對于助推產(chǎn)業(yè)生態(tài)良性循環(huán)有著重要意義。該文章是由上海人工智能實驗室聯(lián)合上海交大、復旦大學、百度、比亞迪、蔚來等多個單位，發(fā)布的自動駕駛開源數(shù)據(jù)集綜述。該綜述首次系統(tǒng)性梳理了國內(nèi)外七十余種開源自動駕駛數(shù)據(jù)集，對如何構建高質(zhì)量數(shù)據(jù)集、數(shù)據(jù)在算法閉環(huán)體系中發(fā)揮的核心作用、如何利用生成式大模型規(guī)?；a(chǎn)數(shù)據(jù)等進行了總結。在此基礎上，對未來第三代自動駕駛數(shù)據(jù)集所應具有的特征、數(shù)據(jù)規(guī)模、需要解決的關鍵科學和技術問題展開深入分析與討論。

概述

自動駕駛作為人工智能重要應用領域之一，有望重塑現(xiàn)有的交通和運輸模式，極大提升交通效率和安全性，對未來城市和社會發(fā)展產(chǎn)生深遠影響。目前，國內(nèi)的智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)已經(jīng)邁入商業(yè)化的試水和起步階段。道路測試和示范應用場景趨于成熟，自動駕駛功能技術加速迭代，車聯(lián)網(wǎng)應用場景日益豐富，各層面相關法規(guī)政策加速出臺，共同推動市場進入高速發(fā)展期。 一方面，自動駕駛技術需要大量數(shù)據(jù)來訓練算法模型，以識別和理解道路環(huán)境，從而做出正確的決策和行動，實現(xiàn)準確、穩(wěn)定和安全的駕駛體驗，數(shù)據(jù)的建設對于自動駕駛技術的發(fā)展至關重要。另一方面，自然語言處理和通用視覺領域大模型的出現(xiàn)，更加印證了海量高質(zhì)量數(shù)據(jù)的重要性，給予自動駕駛的數(shù)據(jù)集建設以啟發(fā)！

綜述文章架構

自動駕駛數(shù)據(jù)集

該綜述把目前開源的近百種數(shù)據(jù)集分為兩代：第一代數(shù)據(jù)集以 KITTI為標志，該數(shù)據(jù)集于2012年提出，輸入傳感模態(tài)由單目攝像頭與激光雷達構成，并提出了一系列綜合感知任務。第二代數(shù)據(jù)集以 nuScenes 及 Waymo 數(shù)據(jù)集為代表，傳感模態(tài)復雜度變高，環(huán)視相機、激光雷達、定位信息以及高精地圖成為常見組成部分，下游任務面向感知、建圖、預測與路徑規(guī)劃綜合任務。

傳感器模態(tài)復雜度逐漸提高：環(huán)視相機，激光雷達，高精地圖，超聲波雷達傳感器，GPS、IMU、HD Map等。

數(shù)據(jù)集規(guī)模與多樣性日益增長：在數(shù)據(jù)豐富度方面，主流自動駕駛數(shù)據(jù)集的采集時長由最初的10小時左右逐漸提升至100小時，隨著自動標注技術及標注工具的演進，近些年也出現(xiàn)了超過 1000 小時的數(shù)據(jù)集。駕駛場景的多樣性也是自動駕駛系統(tǒng)表現(xiàn)的另一關鍵因素。為了提高算法在特定場景下的表現(xiàn)能力，部分數(shù)據(jù)集分別在多個大洲多個城市進行采集。

數(shù)據(jù)集任務從感知延伸至預測與規(guī)劃：2016 年推出的 Cityscapes 與 Mapillary 等數(shù)據(jù)集下游任務聚焦于動態(tài)物體檢測。2019 年推出的 SemanticKITTI 、DrivingStereo等數(shù)據(jù)集引入語義分割、深度估計、光流估計等任務。在傳統(tǒng)預測與規(guī)劃模塊一般應用數(shù)值計算、優(yōu)化、搜索等方法求解。2019 年前后提出的 nuScenes、Waymo 、Argoverse V2 等數(shù)據(jù)集，不僅包括感知任務還涵蓋預測與規(guī)劃任務，實現(xiàn)了在同一數(shù)據(jù)集上進行多種任務研究，同時引領社區(qū)在傳統(tǒng)多個模塊范式下端到端自動駕駛研究的潮流。

自動駕駛開源數(shù)據(jù)集影響力估計

數(shù)據(jù)算法閉環(huán)體系

模塊化自動駕駛系統(tǒng)包括感知、決策、規(guī)劃、控制等組件，其中大部分功能是通過數(shù)據(jù)驅動的神經(jīng)網(wǎng)絡模型實現(xiàn)的。對于這些模塊來說，海量和高質(zhì)量的數(shù)據(jù)是確保模塊性能的必要條件。 首先，海量數(shù)據(jù)的引入對于解決現(xiàn)存自動駕駛系統(tǒng)中的各種問題都很有必要。自動駕駛工程中一直存在的問題是長尾問題。其產(chǎn)生原因在于訓練模型的數(shù)據(jù)量不足而導致存在少量情況未被模型學習，而在模型推理階段，模型并不能對這些邊緣場景給出正確的結果。另外，對于基于規(guī)則的模塊，現(xiàn)有的方式是通過人工設計各種規(guī)則來使模塊輸出符合人為設計邏輯的結果。這個方法耗時耗力，并且難以覆蓋所有情況，有可能導致自動駕駛系統(tǒng)在某些未見場景下失效。而使用數(shù)據(jù)驅動的神經(jīng)網(wǎng)絡代替這些模塊是一個可能的解決方案。 同時，在神經(jīng)網(wǎng)絡學習過程中，數(shù)據(jù)噪聲的引入會不可避免地對優(yōu)化過程產(chǎn)生負面影響，并降低模型性能。數(shù)據(jù)質(zhì)量不僅包括傳感器數(shù)據(jù)的分辨率和同步性等，還包括標簽的準確性。在這兩個方面中，任意一個方面存在質(zhì)量問題都直接影響著自動駕駛系統(tǒng)的性能和安全性。 綜上，海量和高質(zhì)量的數(shù)據(jù)成為構建自動駕駛系統(tǒng)必不可少的一個環(huán)節(jié)。

大模型時代下的新一代自動駕駛數(shù)據(jù)集

當前基礎大模型在自然語言處理、計算機視覺等領域取得了舉世矚目的成果，但目前市面上還沒有面向自動駕駛垂直領域的大模型。以其他領域的大模型作為參照，新一代數(shù)據(jù)集至少應將數(shù)據(jù)量提升至與其他領域相近才能夠賦能自動駕駛大模型。 在保證數(shù)據(jù)數(shù)量的前提下，場景豐富度對算法性能更為重要。自動駕駛車輛在真實世界中會不可避免地遇到訓練數(shù)據(jù)之外的場景大規(guī)模地應用自動駕駛技術必然要求模型能夠在罕見場景中做出正確行為，避免發(fā)生危險或功能失效的情況。對于絕大多數(shù)交通場景來說，并不需要十分大量的數(shù)據(jù)就能夠覆蓋，而更需要關注的是長尾場景，由于某些交通場景十分罕見，如撞車等，數(shù)據(jù)的缺失會對自動駕駛系統(tǒng)的性能影響巨大。

第一、二代自動駕駛數(shù)據(jù)集已經(jīng)不能夠繼續(xù)滿足自動駕駛系統(tǒng)的發(fā)展需求，新一代數(shù)據(jù)集的建設亟待提上日程。在大模型時代，大數(shù)據(jù)成為新一代數(shù)據(jù)集不可缺少的一個特點。同時，模塊化設計的自動駕駛系統(tǒng)在落地過程遇到迭代成本高、性能上界受限等問題，端到端自動駕駛架構逐步受到業(yè)界的青睞。除此之外，多模態(tài)傳感器、高質(zhì)量標注、模型邏輯推理能力等方面也需要得到重視?；诖?，該綜述總結歸納了新一代數(shù)據(jù)集的發(fā)展目標：面向多模態(tài)、保質(zhì)保量；面向端到端、決策導向；面向智能化、邏輯推理。

大模型時代下的自動駕駛數(shù)據(jù)集展望

結論

該綜述全面回顧了自動駕駛公開數(shù)據(jù)集的現(xiàn)狀與挑戰(zhàn)。針對數(shù)據(jù)算法閉環(huán)體系，結合當前大模型發(fā)展趨勢，提出了下一代自動駕駛數(shù)據(jù)集的愿景與規(guī)劃。該綜述系統(tǒng)性地總結了自動駕駛發(fā)展歷程中所使用的數(shù)據(jù)集，并展示了通過挑戰(zhàn)賽與榜單促進社區(qū)發(fā)展的重要性；概括性地分析了自動駕駛數(shù)據(jù)算法閉環(huán)體系，并總結其中各個重要環(huán)節(jié)的作用，最后通過應用案例展現(xiàn)對數(shù)據(jù)算法閉環(huán)體系的使用方法。