4D Radar在自動駕駛領(lǐng)域中越來越受關(guān)注，在價格和功能上都有比較大的競爭力，相關(guān)研究也逐漸open，今天為大家盤點下開源的4D Radar數(shù)據(jù)，為相關(guān)科學(xué)研究提供保障！

1Astyx

Astyx數(shù)據(jù)集是第一個公開的包含4D雷達點云的數(shù)據(jù)集，提出了一個基于雷達、激光雷達和攝像機數(shù)據(jù)的以雷達為中心的汽車數(shù)據(jù)集，用于3D物體檢測。主要重點是向研究界提供高分辨率雷達數(shù)據(jù)，刺激使用雷達傳感器數(shù)據(jù)的算法研究。為此，提供了用于物體檢測的半自動生成和手動重新定義的3D地面真實數(shù)據(jù)。論文描述了生成此類數(shù)據(jù)集的完整過程，重點介紹了相應(yīng)高分辨率雷達的一些主要功能，并通過在此數(shù)據(jù)集上顯示基于深度學(xué)習(xí)的3D對象檢測算法的結(jié)果，展示了其在3-5級自動駕駛應(yīng)用中的使用。

由于手動標(biāo)記是一項非常繁瑣、緩慢和昂貴的任務(wù)，無法擴展到更大的數(shù)據(jù)集，因此自動預(yù)標(biāo)記和手動重新定義是非常必要的。對于此任務(wù)，本文使用[16]的工作，基于深度學(xué)習(xí)的3D目標(biāo)檢測，并對低級傳感器數(shù)據(jù)執(zhí)行多傳感器融合。為了盡量減少需要手動重新定義的標(biāo)簽數(shù)量，將此3D目標(biāo)檢測網(wǎng)絡(luò)嵌入到基于不確定性采樣的主動學(xué)習(xí)方法中，使用估計分?jǐn)?shù)作為近似值（見圖3）。為此，從網(wǎng)絡(luò)最不確定其決策的自動預(yù)標(biāo)記數(shù)據(jù)N幀中提取數(shù)據(jù)，通過手動微調(diào)進行校正，從而在下一輪訓(xùn)練和預(yù)標(biāo)記中最大化網(wǎng)絡(luò)的信息增益。

現(xiàn)階段免費提供的最終數(shù)據(jù)集由500個同步幀（雷達、激光雷達、相機）組成，其中包含大約3000個非常精確標(biāo)記的3D對象注釋。盡管大多數(shù)對象都屬于“汽車”類，但論文也提供了總共7類（公共汽車、汽車、自行車、摩托車、人、拖車、卡車）的少量真實數(shù)據(jù)。

gt數(shù)據(jù)注釋包含每個對象的以下屬性：

?3D位置（x、y、z）

?3D旋轉(zhuǎn)（rx、y、rz）

?3D尺寸（w、l、h）

?類信息

?不確定性（位置、尺寸）

數(shù)據(jù)格式都是非專有的標(biāo)準(zhǔn)圖像和點云格式，3D目標(biāo)檢測gt采用文本格式。如[7]所示，本文沒有為目標(biāo)檢測算法的標(biāo)準(zhǔn)化評估和排序提供正式的基準(zhǔn)測試套件，因為這將要求保留測試數(shù)據(jù)，以避免對評估測試集進行過度設(shè)置。這帶來了一個有趣的問題，因為作者也在研究和開發(fā)基于這些數(shù)據(jù)的目標(biāo)檢測算法，這將是唯一能夠完全控制gt真實數(shù)據(jù)的算法。圖4顯示了激光雷達和雷達傳感器的點云密度分布，圖5顯示了不同類別的地面實況對象分布。在圖7中展示了地面實況數(shù)據(jù)中汽車的示例性定向和空間分布。

?

?

2RADIal

雷達傳感器憑借其對惡劣天氣條件的魯棒性和測量速度的能力，20多年來一直是汽車領(lǐng)域的一部分。汽車?yán)走_自90年代后期開始生產(chǎn)。它們是自適應(yīng)巡航控制、盲點檢測和自動緊急制動功能的首選、最便宜的傳感器。然而，它們的角度分辨率較差，這阻礙了它們在自動駕駛系統(tǒng)中的應(yīng)用。事實上，此類系統(tǒng)需要高水平的安全性和魯棒性，通常通過冗余機制實現(xiàn)。雖然通過融合多個模態(tài)改善了感測，但只有當(dāng)每個傳感器都達到足夠和可比的性能時，整體組合才有效。高清晰度（HD）成像雷達已經(jīng)出現(xiàn)以滿足這些要求。通過使用密集的虛擬天線陣列，這些新傳感器在方位角和仰角（分別為水平和垂直角位置）上實現(xiàn)了高角度分辨率，并產(chǎn)生了更密集的點云。最近在高清晰度（HD）成像雷達方面取得的進展已將角度分辨率降低到度以下，從而接近激光掃描性能。然而，高清雷達提供的數(shù)據(jù)量和估計角位置的計算成本仍然是一個挑戰(zhàn)。本文提出了一種新的高清雷達感測模型FFT-RadNet，它消除了計算距離-方位-多普勒3D張量的開銷，學(xué)習(xí)從距離-多普勒頻譜恢復(fù)角度。FFTRadNet被訓(xùn)練來檢測車輛和分割自由駕駛空間。在這兩項任務(wù)上，它都與最新的基于雷達的模型競爭，同時需要更少的計算和內(nèi)存。此外還收集并注釋了來自同步汽車級傳感器的2小時原始數(shù)據(jù)（相機、激光、高清雷達）在各種環(huán)境（城市街道、高速公路、鄉(xiāng)村道路）中的應(yīng)用。這個獨特的數(shù)據(jù)集稱之為RADIal，意為“雷達、激光雷達等”。

RADIal包括一套3個傳感器（相機、激光掃描儀、高清雷達），并配有GPS和車輛的CAN軌跡，以原始格式記錄25k個同步樣本。（a） camera圖像，投影激光點云為紅色，雷達點云為靛藍，車輛標(biāo)注為橙色，自由駕駛空間注釋為綠色；（b） 帶有邊界框注釋的雷達功率譜；（c） 鳥瞰圖中的自由駕駛空間標(biāo)注，車輛標(biāo)注橙色邊界框，雷達點云標(biāo)注靛藍，激光點云標(biāo)注紅色；（d） 與雷達點云和激光點云疊加的笛卡爾坐標(biāo)中的距離方位圖；（e） GPS軌跡為紅色，里程軌跡重建為綠色；

如下表所示，除相機外，所有傳感器均為汽車級合格傳感器。除此之外，還提供了GPS位置和車輛的完整CAN總線（包括里程表）。傳感器信號以原始格式同時記錄，無需任何信號預(yù)處理。對于高清雷達，原始信號是ADC。根據(jù)ADC數(shù)據(jù)，可以生成所有常規(guī)雷達表示：距離方位-多普勒張量、距離方位和距離多普勒視圖或點云。RADIal包含約1-4分鐘的91個序列，共2小時。這總計約為25k個同步幀，其中8252個標(biāo)有9550輛車輛（詳見附錄A）。車輛注釋由圖像平面中的2D框以及到傳感器的真實距離和多普勒值（相對徑向速度）組成。雷達信號的注釋很難實現(xiàn)，因為RD頻譜表示對人眼沒有意義。

?

3K-Radar

不同于使用可見光帶（384～769太赫茲）和使用紅外波段的激光雷達（361～331太赫茲），雷達使用相對較長波長的無線電頻帶（77～81GHz），導(dǎo)致在不利天氣下的穩(wěn)健測量。然而，與現(xiàn)有的相機和激光雷達數(shù)據(jù)集相比，現(xiàn)有的雷達數(shù)據(jù)集只包含相對較少的樣本。這可能會阻礙基于雷達感知的復(fù)雜數(shù)據(jù)驅(qū)動深度學(xué)習(xí)技術(shù)的發(fā)展。此外，大多數(shù)現(xiàn)有雷達數(shù)據(jù)集僅提供3D雷達張量（3DRT）數(shù)據(jù)，該數(shù)據(jù)包含沿多普勒、距離和方位維度的功率測量。由于沒有高程信息，因此從3DRT估計對象的3D邊界框是一項挑戰(zhàn)。本文介紹了KAIST雷達（K-Radar），這是一個新的大規(guī)模目標(biāo)檢測數(shù)據(jù)集和基準(zhǔn)，它包含35K幀的4D雷達張量（4DRT）數(shù)據(jù)，以及沿多普勒、距離、方位和海拔維度的功率測量，以及仔細(xì)標(biāo)注的道路上目標(biāo)的3D邊界框標(biāo)簽。

K-Radar包括各種道路結(jié)構(gòu)（城市、郊區(qū)道路、小巷和高速公路）上的惡劣天氣（霧、雨和雪）等具有挑戰(zhàn)性的駕駛條件。除了4DRT之外，還提供經(jīng)過仔細(xì)校準(zhǔn)的高分辨率激光雷達、stereo相機和RTK-GPS的輔助測量。論文還提供了基于4DRT的目標(biāo)檢測基線神經(jīng)網(wǎng)絡(luò)（基線NN），并表明高度信息對于3D目標(biāo)檢測至關(guān)重要。通過將基線神經(jīng)網(wǎng)絡(luò)與基于激光雷達的類似結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)進行比較，證明了4D雷達對于惡劣天氣條件是一種更為魯棒的傳感器。

惡劣天氣條件下的大部分畫面是在韓國的江原道收集的，該省是全國年降雪量最高的省份。另一方面，帶有城市環(huán)境的框架大多在韓國的大田收集。數(shù)據(jù)收集過程產(chǎn)生35K幀的多模態(tài)傳感器測量值，構(gòu)成K-Radar數(shù)據(jù)集。根據(jù)附錄C中列出的標(biāo)準(zhǔn)將收集的數(shù)據(jù)分為幾個類別。此外，本文將數(shù)據(jù)集劃分為訓(xùn)練集和測試集，使每個條件以平衡的方式出現(xiàn)在兩個集中，如圖4所示，在距離自車輛120米的縱向半徑和80米的橫向半徑范圍內(nèi)，道路上的物體（即轎車、公共汽車或卡車、行人、自行車和摩托車）有93.3K的3D邊界框標(biāo)簽。請注意，只注釋出現(xiàn)在正縱軸上的對象，即自我載體前面的對象。

圖5展示了K-Radar數(shù)據(jù)集中的目標(biāo)類別分布和距電子飛行器的目標(biāo)距離，K-Radar可用于評估不同距離物體的3D目標(biāo)檢測網(wǎng)絡(luò)的性能。

?

詳細(xì)的數(shù)據(jù)集信息：

?

?

?

4TJ4DRadSet

下一代高分辨率汽車?yán)走_（4D雷達）可以提供額外的高程測量和更密集的點云，這在自動駕駛中具有巨大的3D感測潛力。本文介紹了一個名為TJ4DRadSet的數(shù)據(jù)集，該數(shù)據(jù)集包含用于自動駕駛研究的4D雷達點。數(shù)據(jù)集是在不同的駕駛場景中收集的，總共有7757個同步幀，共有44個連續(xù)序列，并用3D邊界框和軌跡ID進行了很好的注釋。我們?yōu)閿?shù)據(jù)集提供基于4D雷達的3D物體檢測基線，演示了深度學(xué)習(xí)方法對4D雷達點云的有效性。

對于自動駕駛車輛來說，高可靠性、低成本、高分辨率的感知模塊是必不可少的。目前，感知模塊主要使用相機、激光雷達和汽車?yán)走_等傳感器獲取不同模式的環(huán)境信息。不可否認(rèn)，相機和激光雷達易受惡劣條件的影響，如雨、霧和強光，其性能將隨著逆境的增加而顯著下降。相比之下，汽車?yán)走_是必不可少的，因為它具有強大的魯棒性和成本效益。由于方位分辨率低，傳統(tǒng)的汽車?yán)走_僅用于盲點檢測、碰撞警告和其他駕駛輔助應(yīng)用。新一代4D雷達的出現(xiàn)彌補了傳統(tǒng)汽車?yán)走_的低清晰度，并提供了高度測量，非常適合于高級自動駕駛應(yīng)用。4D雷達的四個維度是距離、方位、高度和多普勒速度。它還提供了一些其他低級特征，如雷達截面（RCS）或信噪比（SNR）。

TJ4DRadSet的數(shù)據(jù)集是一個自動駕駛數(shù)據(jù)集，包含連續(xù)序列的4D雷達點云，并帶有3D注釋，它還提供了激光雷達、相機和GNSS的多模態(tài)完整信息。TJ4DRadSet包含40K幀的同步數(shù)據(jù)，其中7757幀，44個帶有高質(zhì)量注釋3D邊界框和軌跡的序列ID。3D注釋系統(tǒng)使用聯(lián)合多傳感器注釋和多輪手動檢查。TJ4DRadSet涵蓋各種道路條件，如高架道路、復(fù)雜交叉口、單向道路和城市道路。它還包括惡劣的照明條件，如強光和黑暗。該數(shù)據(jù)集適合于開發(fā)基于4D雷達的3D感知算法，以促進其在高級自主駕駛中的應(yīng)用。

?

編輯：黃飛

?