來(lái)源：3D視覺(jué)工坊

2. 摘要

近年來(lái)，點(diǎn)云表示已成為計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)之一，并廣泛應(yīng)用于自動(dòng)駕駛、虛擬現(xiàn)實(shí)、機(jī)器人等許多領(lǐng)域。雖然深度學(xué)習(xí)技術(shù)在處理常規(guī)結(jié)構(gòu)化的二維網(wǎng)格圖像數(shù)據(jù)方面取得了巨大成功，但在處理不規(guī)則、非結(jié)構(gòu)化的點(diǎn)云數(shù)據(jù)方面仍面臨著巨大挑戰(zhàn)。點(diǎn)云分類(lèi)是點(diǎn)云分析的基礎(chǔ)，許多基于深度學(xué)習(xí)的方法已被廣泛應(yīng)用于此任務(wù)。因此，本文旨在為該領(lǐng)域的研究人員提供最新的研究進(jìn)展和未來(lái)趨勢(shì)。首先，我們介紹點(diǎn)云獲取、特征和挑戰(zhàn)。其次，我們回顧了用于點(diǎn)云分類(lèi)的3D數(shù)據(jù)表示、存儲(chǔ)格式和常用數(shù)據(jù)集。然后，我們總結(jié)了基于深度學(xué)習(xí)的點(diǎn)云分類(lèi)方法，并補(bǔ)充了最近的研究工作。接下來(lái)，我們比較和分析了主要方法的性能。最后，我們討論了點(diǎn)云分類(lèi)的一些挑戰(zhàn)和未來(lái)方向。

3.引言

近年來(lái)，計(jì)算機(jī)視覺(jué)領(lǐng)域的二維圖像處理技術(shù)已接近成熟，許多研究人員已將研究重點(diǎn)轉(zhuǎn)向更符合現(xiàn)實(shí)世界的三維場(chǎng)景。在三維場(chǎng)景中，點(diǎn)云因其豐富的表達(dá)信息而在表示三維場(chǎng)景中發(fā)揮著重要作用。因此，點(diǎn)云已成為三維視覺(jué)研究中常見(jiàn)的數(shù)據(jù)表達(dá)形式。隨著技術(shù)的進(jìn)步，點(diǎn)云數(shù)據(jù)的獲取變得越來(lái)越智能和便捷，有許多獲取方法，例如：激光雷達(dá)檢測(cè)、通過(guò)3D模型計(jì)算獲取點(diǎn)云、通過(guò)2D圖像進(jìn)行3D重建獲取點(diǎn)云等。作為最基本的點(diǎn)云分析任務(wù)，點(diǎn)云分類(lèi)已廣泛應(yīng)用于安全檢測(cè)、目標(biāo)物體檢測(cè)、醫(yī)學(xué)和三維重建等許多領(lǐng)域。點(diǎn)云分類(lèi)的目的是為點(diǎn)云中的每個(gè)點(diǎn)配備一個(gè)標(biāo)記，以識(shí)別點(diǎn)云的整體或部分屬性。由于點(diǎn)云的組成屬性屬于點(diǎn)云分割的范疇，在本文中，我們主要關(guān)注點(diǎn)云的整體屬性，即點(diǎn)云分類(lèi)。如圖1所示，3D數(shù)據(jù)有各種表示形式。目前，可以將點(diǎn)云轉(zhuǎn)換為網(wǎng)格、體素或多視圖數(shù)據(jù)，通過(guò)間接方法學(xué)習(xí)3D對(duì)象表示，但這些方法容易出現(xiàn)問(wèn)題，如丟失對(duì)象的3D幾何信息或內(nèi)存消耗過(guò)多。在PointNet之前，由于點(diǎn)云的無(wú)序性和不規(guī)則性，深度學(xué)習(xí)技術(shù)無(wú)法直接處理點(diǎn)云。早期的點(diǎn)云處理使用手工設(shè)計(jì)的規(guī)則進(jìn)行特征提取，然后使用基于機(jī)器學(xué)習(xí)的分類(lèi)器（如支持向量機(jī)（SVM）、AdaBoost、隨機(jī)森林（RF）等）來(lái)預(yù)測(cè)點(diǎn)云的類(lèi)別標(biāo)簽，但這些分類(lèi)方法具有較差的適應(yīng)能力，并且容易受到噪聲的影響。一些研究通過(guò)合成上下文信息來(lái)解決噪聲問(wèn)題，例如條件隨機(jī)場(chǎng)（CRF）、馬爾可夫隨機(jī)場(chǎng)（MRF）等，這在一定程度上提高了分類(lèi)性能。然而，手工設(shè)計(jì)規(guī)則提取的特征表達(dá)能力有限，特別是在復(fù)雜場(chǎng)景下，模型的準(zhǔn)確性和泛化能力無(wú)法滿(mǎn)足人類(lèi)的需求，而且這種方法嚴(yán)重依賴(lài)于具有專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn)的研究人員。隨著計(jì)算機(jī)計(jì)算和數(shù)據(jù)處理能力的迅速發(fā)展，深度學(xué)習(xí)技術(shù)在點(diǎn)云分析中的應(yīng)用也得到了推廣。斯坦福大學(xué)的Charles等人于2017年發(fā)表的一篇論文提出了一個(gè)直接處理點(diǎn)云的深度學(xué)習(xí)網(wǎng)絡(luò)，PointNet。這篇論文是一個(gè)里程碑，直接處理點(diǎn)云的方法逐漸占據(jù)主導(dǎo)地位。面對(duì)3D點(diǎn)云的無(wú)序性、無(wú)規(guī)律性和稀疏性，點(diǎn)云分類(lèi)仍然是一個(gè)具有挑戰(zhàn)性的問(wèn)題。目前有一些綜述分析和總結(jié)基于深度學(xué)習(xí)的3D點(diǎn)云分類(lèi)方法。本文在以往工作的基礎(chǔ)上進(jìn)行了改進(jìn)，并增加了新的基于深度學(xué)習(xí)的3D點(diǎn)云分類(lèi)方法，如最近流行的基于Transformer的方法。最后，展望了3D點(diǎn)云分類(lèi)技術(shù)的未來(lái)研究方向。文章的整體結(jié)構(gòu)如圖2所示。具體來(lái)說(shuō)，我們工作的主要貢獻(xiàn)如下：

我們首先對(duì)3D數(shù)據(jù)進(jìn)行了詳細(xì)介紹，深入解釋了點(diǎn)云，以便讀者理解，并提供了用于點(diǎn)云分類(lèi)的數(shù)據(jù)集及其獲取方法。

我們總結(jié)了最近發(fā)表的關(guān)于點(diǎn)云分類(lèi)的研究綜述，基于此補(bǔ)充了最新研究方法。這些方法根據(jù)其特點(diǎn)分為四類(lèi)，包括基于多視圖的、基于體素的、基于點(diǎn)云的方法和基于多形態(tài)融合的方法。然后將點(diǎn)云方法細(xì)分。

我們根據(jù)它們的分類(lèi)特點(diǎn)，討論了各類(lèi)方法的優(yōu)勢(shì)和局限性。這種分類(lèi)更適合研究人員根據(jù)實(shí)際需求探索這些方法。

我們提供了方法的評(píng)估指標(biāo)和性能比較，以更好地展示各種方法在數(shù)據(jù)集上的性能，然后分析了該領(lǐng)域的一些當(dāng)前挑戰(zhàn)和未來(lái)趨勢(shì)。

4. 3D數(shù)據(jù)

A. 3D數(shù)據(jù)表示

3D數(shù)據(jù)有各種表示形式，例如點(diǎn)云、網(wǎng)格和體素。

點(diǎn)云：點(diǎn)云本質(zhì)上是在3D空間中繪制的大量微小點(diǎn)的集合，如圖1(a)所示，它由使用3D激光掃描儀捕獲的大量點(diǎn)組成。這些點(diǎn)可以表達(dá)目標(biāo)的空間分布和表面特征。點(diǎn)云中的每個(gè)點(diǎn)包含豐富的信息，例如：三維坐標(biāo)（x、y、z）、顏色信息（r、g、b）和表面法向量等。

網(wǎng)格：3D數(shù)據(jù)也可以用網(wǎng)格網(wǎng)格表示，可以視為建立點(diǎn)之間局部關(guān)系的點(diǎn)集。三角網(wǎng)格，也稱(chēng)為三角面片（如圖1(b)所示），是描述3D對(duì)象的常用網(wǎng)格之一。一個(gè)切片的點(diǎn)和邊的集合稱(chēng)為網(wǎng)格。

體素：在3D對(duì)象表示中，體素也是一種重要的3D數(shù)據(jù)表示形式，如圖1(c)所示，體素擅長(zhǎng)表示非均勻填充的規(guī)則采樣空間，因此，體素可以有效地表示具有大量空白或均勻填充空間的點(diǎn)云數(shù)據(jù)。通過(guò)將點(diǎn)云數(shù)據(jù)進(jìn)行體素化，有利于提高數(shù)據(jù)計(jì)算效率并減少對(duì)隨機(jī)存儲(chǔ)器的訪問(wèn)，但是點(diǎn)云數(shù)據(jù)的體素化不可避免地會(huì)帶來(lái)一定程度的信息丟失。

多視圖：多視圖圖像（如圖1(d)所示）也是點(diǎn)云數(shù)據(jù)的表示形式，它源自單視圖圖像，是將3D對(duì)象渲染為在特定角度下的多個(gè)視點(diǎn)的圖像。挑戰(zhàn)主要在于透視和透視融合的選擇。

B. 點(diǎn)云數(shù)據(jù)存儲(chǔ)格式

點(diǎn)云有數(shù)百種文件格式可用，不同的掃描儀會(huì)以許多格式生成原始數(shù)據(jù)。點(diǎn)云數(shù)據(jù)文件之間的最大區(qū)別在于使用ASCII和二進(jìn)制。二進(jìn)制系統(tǒng)直接將數(shù)據(jù)存儲(chǔ)在二進(jìn)制代碼中。常見(jiàn)的點(diǎn)云二進(jìn)制格式包括FLS、PCD、LAS等。其他幾種常見(jiàn)文件類(lèi)型可以同時(shí)支持ASCII和二進(jìn)制格式。其中包括PLY、FBX。E57以ASCII和二進(jìn)制代碼存儲(chǔ)數(shù)據(jù)，并將許多ASCII和二進(jìn)制的優(yōu)點(diǎn)結(jié)合在一個(gè)文件類(lèi)型中。以下是一些常用的點(diǎn)云數(shù)據(jù)存儲(chǔ)格式：

Obj：obj格式的點(diǎn)云文件由Wavefront Technologies開(kāi)發(fā)。它是一個(gè)文本文件。它是一種簡(jiǎn)單的數(shù)據(jù)格式，僅表示3D數(shù)據(jù)的幾何、法線、顏色和紋理信息。這種格式通常以ASCII形式表示，但也有專(zhuān)有的obj二進(jìn)制版本。

Las：las格式主要用于存儲(chǔ)LIDAR點(diǎn)云數(shù)據(jù)，本質(zhì)上是一個(gè)二進(jìn)制格式文件。LAS文件由三部分組成：頭文件區(qū)（包括點(diǎn)總數(shù)、數(shù)據(jù)范圍、每個(gè)點(diǎn)的維度信息）、可變長(zhǎng)度記錄區(qū)（包括坐標(biāo)系、額外維度等）、點(diǎn)集記錄區(qū)（包括點(diǎn)坐標(biāo)信息、R、G、B信息、分類(lèi)信息、強(qiáng)度信息等）。las格式考慮到LIDAR數(shù)據(jù)的特點(diǎn)，結(jié)構(gòu)合理，易于擴(kuò)展。

Ply：PLY的全稱(chēng)是Polygon File Format，受obj啟發(fā)，專(zhuān)門(mén)用于存儲(chǔ)3D數(shù)據(jù)。PLY使用名義上的平面多邊形列表來(lái)表示對(duì)象。它可以存儲(chǔ)包括顏色、透明度、表面法向量、紋理坐標(biāo)和數(shù)據(jù)置信度在內(nèi)的信息，并且可以為多邊形的前后兩側(cè)設(shè)置不同的屬性。該文件有兩個(gè)版本，一個(gè)是ASCII版本，一個(gè)是二進(jìn)制版本。

E57：E57是用于點(diǎn)云存儲(chǔ)的供應(yīng)商中立文件格式。它還可以用于存儲(chǔ)激光掃描儀和其他3D成像系統(tǒng)生成的圖像和元數(shù)據(jù)信息，是一個(gè)使用固定大小字段和記錄的嚴(yán)格格式。它使用ASCII和二進(jìn)制代碼保存數(shù)據(jù)，并提供了ASCII的大部分可訪問(wèn)性和二進(jìn)制的速度，可以存儲(chǔ)3D點(diǎn)云數(shù)據(jù)、屬性、圖像。

PCD：PCD是Point Cloud Library的官方指定格式。它由頭文件和點(diǎn)云數(shù)據(jù)兩部分組成。它用于描述點(diǎn)云的整體信息。它有兩種數(shù)據(jù)存儲(chǔ)類(lèi)型，ASCII和二進(jìn)制，但PCD文件的頭文件必須使用ASCII編碼。PCD的一個(gè)好處是它很好地適應(yīng)了PCL，與PCL應(yīng)用程序相比，性能最高。

C. 3D點(diǎn)云公共數(shù)據(jù)集

今天，許多工業(yè)和大學(xué)提供了許多點(diǎn)云數(shù)據(jù)集。不同方法在這些數(shù)據(jù)集上的表現(xiàn)反映了方法的可靠性和準(zhǔn)確性。這些數(shù)據(jù)集包含虛擬或真實(shí)場(chǎng)景，可以為網(wǎng)絡(luò)訓(xùn)練提供地面真實(shí)標(biāo)簽。在本節(jié)中，我們將介紹一些常用的點(diǎn)云分類(lèi)數(shù)據(jù)集，每個(gè)數(shù)據(jù)集的劃分如表I所示。

ModelNet40：該數(shù)據(jù)集由普林斯頓大學(xué)的視覺(jué)和機(jī)器人實(shí)驗(yàn)室開(kāi)發(fā)。ModelNet40數(shù)據(jù)集包含合成CAD對(duì)象。作為最廣泛使用的點(diǎn)云分析基準(zhǔn)，ModelNet40因其多樣的類(lèi)別、清晰的形狀和良好結(jié)構(gòu)的數(shù)據(jù)集而受歡迎。該數(shù)據(jù)集包含40個(gè)類(lèi)別的對(duì)象（例如飛機(jī)、汽車(chē)、植物、燈具），其中9843個(gè)用于訓(xùn)練，2468個(gè)用于測(cè)試。相應(yīng)的點(diǎn)是從網(wǎng)格表面均勻采樣的，然后通過(guò)移動(dòng)到原點(diǎn)并縮放到單位球來(lái)進(jìn)一步預(yù)處理。

ModelNet-C：ModelNet-C集合包含185,000個(gè)不同的點(diǎn)云，是基于ModelNet40驗(yàn)證集創(chuàng)建的。這個(gè)數(shù)據(jù)集主要用于測(cè)試3D點(diǎn)云識(shí)別的損傷魯棒性，其中包括15種損傷類(lèi)型和每種損傷類(lèi)型的5種嚴(yán)重程度，例如噪聲、密度等。有助于了解模型的魯棒性。

ModelNet10：ModelNet10是ModelNet40的一個(gè)子集，該數(shù)據(jù)集僅包含10個(gè)類(lèi)別，分為3991個(gè)訓(xùn)練和908個(gè)測(cè)試形狀。

Sydney Urban Objects：該數(shù)據(jù)集收集于悉尼中央商務(wù)區(qū)，包含各種常見(jiàn)的城市道路物體，包括631個(gè)類(lèi)別為車(chē)輛、行人、標(biāo)志和樹(shù)木的掃描對(duì)象。

ShapeNet：ShapeNet是由斯坦福大學(xué)、普林斯頓大學(xué)和芝加哥豐田技術(shù)研究所的研究人員開(kāi)發(fā)的大型3D CAD模型倉(cāng)庫(kù)。該倉(cāng)庫(kù)包含超過(guò)3億個(gè)模型，其中22萬(wàn)個(gè)模型被分類(lèi)為3135個(gè)類(lèi)別，使用WordNet上下位關(guān)系排列。ShapeNetCore是ShapeNet的一個(gè)子集，包括近51,300個(gè)獨(dú)特的3D模型。它提供了55個(gè)常見(jiàn)物體類(lèi)別和注釋。ShapeNetSem也是ShapeNet的一個(gè)子集，包含12,000個(gè)模型。規(guī)模較小，但覆蓋面更廣，包括270個(gè)類(lèi)別。

ScanNet：ScanNet是一個(gè)實(shí)例級(jí)室內(nèi)RGB-D數(shù)據(jù)集，包含2D和3D數(shù)據(jù)。它是一個(gè)帶標(biāo)記的體素集合，而不是點(diǎn)或?qū)ο?。截至目前，最新版本的ScanNet，ScanNet v2，已經(jīng)收集了1513個(gè)帶有大約90%表面覆蓋率的標(biāo)記掃描。在語(yǔ)義分割任務(wù)中，該數(shù)據(jù)集用20個(gè)類(lèi)別的注釋3D體素化對(duì)象進(jìn)行標(biāo)記。

ScanObjectNN：ScanObjectNN是一個(gè)由2902個(gè)3D對(duì)象組成的真實(shí)世界數(shù)據(jù)集，分為15個(gè)類(lèi)別，由于數(shù)據(jù)集中的背景、缺失部分和變形等因素，這是一個(gè)具有挑戰(zhàn)性的點(diǎn)云分類(lèi)數(shù)據(jù)集。

5. 基于深度學(xué)習(xí)的點(diǎn)云分類(lèi)方法

基于深度學(xué)習(xí)的點(diǎn)云分類(lèi)模型由于其強(qiáng)大的泛化能力和高分類(lèi)準(zhǔn)確性等優(yōu)勢(shì)，在點(diǎn)云分析中得到了廣泛應(yīng)用。本節(jié)詳細(xì)介紹了基于深度學(xué)習(xí)的點(diǎn)云分類(lèi)方法的劃分，并補(bǔ)充了一些最近的研究工作。圖3顯示了每種分類(lèi)方法的發(fā)表時(shí)間表。

A. 基于多視圖的方法

基于多視圖的方法利用多個(gè)視角的信息來(lái)描述和識(shí)別3D形狀。這種方法的優(yōu)勢(shì)在于可以從不同的角度獲取豐富的特征信息，從而提高了形狀識(shí)別的準(zhǔn)確性。然而，基于多視圖的方法在處理大規(guī)模場(chǎng)景和利用3D數(shù)據(jù)的固有幾何關(guān)系方面仍然存在挑戰(zhàn)。例如，在將多個(gè)視圖特征轉(zhuǎn)換為全局特征時(shí)，會(huì)忽略其他非最大元素的信息，導(dǎo)致信息丟失。因此，改進(jìn)基于多視圖的方法以充分利用信息，并解決大規(guī)模場(chǎng)景和幾何關(guān)系的挑戰(zhàn)是未來(lái)研究的方向。

B. 基于體素的方法

基于體素的方法將3D點(diǎn)云模型轉(zhuǎn)換為體素形式，每個(gè)體素塊包含一組相關(guān)點(diǎn)，并使用3D卷積神經(jīng)網(wǎng)絡(luò)對(duì)體素進(jìn)行分類(lèi)。這種方法可以有效地表示對(duì)象的形狀，并在3D對(duì)象識(shí)別中取得了良好的效果。然而，由于3D卷積計(jì)算復(fù)雜，對(duì)于體素進(jìn)行卷積會(huì)增加模型的復(fù)雜性。為了降低內(nèi)存消耗和提高計(jì)算效率，一些學(xué)者使用了八叉樹(shù)結(jié)構(gòu)代替固定分辨率的體素結(jié)構(gòu)。八叉樹(shù)結(jié)構(gòu)使得網(wǎng)絡(luò)可以更深層次地表示數(shù)據(jù)，而不影響分辨率。然而，八叉樹(shù)結(jié)構(gòu)也存在一些局限性，例如不能充分利用局部數(shù)據(jù)特征，因此未來(lái)研究可以致力于解決這些問(wèn)題以提高基于體素的方法在點(diǎn)云分類(lèi)中的效果。

C. 基于點(diǎn)云的方法

許多當(dāng)前的研究方法更多地關(guān)注于使用深度學(xué)習(xí)技術(shù)直接處理點(diǎn)云。特征聚合運(yùn)算符是處理點(diǎn)云的核心，它實(shí)現(xiàn)了離散點(diǎn)的信息傳遞。特征聚合運(yùn)算符主要分為兩類(lèi)：局部特征聚合和全局特征聚合。在本節(jié)中，從特征聚合的角度出發(fā)，將介紹這兩類(lèi)方法。 2017年，齊等人提出的PointNet（如圖7所示）是基于點(diǎn)云的方法的開(kāi)創(chuàng)性研究，這是一種全局特征聚合的方法。該方法直接將點(diǎn)云作為輸入，通過(guò)T-Net模塊對(duì)其進(jìn)行變換，然后通過(guò)共享全連接學(xué)習(xí)每個(gè)點(diǎn)，最后通過(guò)最大池化函數(shù)將點(diǎn)的特征聚合成全局特征。盡管PointNet是基于深度學(xué)習(xí)的先驅(qū)，但仍然存在缺陷。例如，PointNet只捕捉了單個(gè)點(diǎn)和全局點(diǎn)的特征信息，但并未考慮相鄰點(diǎn)的關(guān)系表示，這使得PointNet無(wú)法有效地進(jìn)行細(xì)粒度分類(lèi)。

局部特征聚合

局部特征聚合是點(diǎn)云處理的核心，實(shí)現(xiàn)了離散點(diǎn)的信息傳遞。從特征聚合的角度來(lái)看，局部特征聚合分為兩類(lèi)方法：點(diǎn)對(duì)點(diǎn)方法和基于采樣的方法。點(diǎn)對(duì)點(diǎn)方法如PointNet++通過(guò)分層處理點(diǎn)云，每一層包含采樣、分組和PointNet層，能夠處理局部鄰域的特征，并考慮點(diǎn)之間的關(guān)系。在此基礎(chǔ)上，一些方法如PointNeXt、PointWeb和RandLA-Net進(jìn)一步改進(jìn)了局部特征的提取和聚合方式，提高了性能和效率?；诓蓸拥姆椒ㄍㄟ^(guò)空間填充曲線等方式對(duì)點(diǎn)云進(jìn)行采樣，然后通過(guò)特征融合模塊學(xué)習(xí)結(jié)構(gòu)和相關(guān)信息，如PointSCNet。另外，一些方法如GDANet引入了幾何解纏模塊來(lái)捕捉和細(xì)化幾何信息，取得了良好的效果。局部特征聚合方法的發(fā)展使得點(diǎn)云處理能夠更好地捕捉局部結(jié)構(gòu)，提高了處理效率和性能。

基于卷積的方法

基于卷積的方法將傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）擴(kuò)展到處理不規(guī)則的三維點(diǎn)云數(shù)據(jù)上，是處理點(diǎn)云分類(lèi)的重要方法。這些方法主要包括以下方面的研究：

Point Convolution：將點(diǎn)云上的函數(shù)擴(kuò)展為連續(xù)體函數(shù)，并在此基礎(chǔ)上進(jìn)行卷積操作，例如PCNN（Point Convolutional Neural Network）。

Relation-based Convolution：通過(guò)建立點(diǎn)云中點(diǎn)與點(diǎn)之間的關(guān)系來(lái)進(jìn)行卷積操作，如RS-CNN（Relational Shape Convolutional Networks）。

Dynamic Filter Convolution：應(yīng)用動(dòng)態(tài)濾波器來(lái)處理點(diǎn)云上的卷積操作，例如PointConv。

Monte Carlo Integration Convolution：將卷積看作蒙特卡洛積分來(lái)處理，如MCCNN。

Spatial Pooling Convolution：使用空間池化來(lái)對(duì)點(diǎn)云進(jìn)行卷積，例如DNNSP。

Hierarchical Convolution：通過(guò)層級(jí)結(jié)構(gòu)進(jìn)行卷積操作，例如SpiderCNN。

Anisotropic Spatial Geometry Convolution：利用空間覆蓋卷積來(lái)處理點(diǎn)云，如SC-CNN（Spatial Coverage Convolutional Neural Network）。

這些方法的設(shè)計(jì)旨在有效地處理點(diǎn)云的不規(guī)則性、稀疏性和無(wú)序性，從而提高點(diǎn)云分類(lèi)的準(zhǔn)確性和效率。

基于圖的方法

基于圖的方法利用圖神經(jīng)網(wǎng)絡(luò)（GNN）等技術(shù)處理點(diǎn)云數(shù)據(jù)。這些方法主要包括以下幾種類(lèi)型：

圖卷積網(wǎng)絡(luò)（GCN）優(yōu)化：GCN是對(duì)CNN的優(yōu)化，能夠在半監(jiān)督分類(lèi)任務(wù)中表現(xiàn)良好。一些方法對(duì)GCN進(jìn)行了改進(jìn)，如使用覆蓋感知網(wǎng)絡(luò)查詢(xún)（CAGQ）提高空間覆蓋率，并簡(jiǎn)化網(wǎng)絡(luò)模型以解決梯度消失問(wèn)題。

邊緣條件卷積（ECC）網(wǎng)絡(luò)：ECC網(wǎng)絡(luò)可應(yīng)用于任何圖結(jié)構(gòu)，并能夠捕獲圖中點(diǎn)之間的關(guān)系，有助于圖像分割等任務(wù)。

動(dòng)態(tài)圖CNN（DGCNN）：DGCNN通過(guò)邊緣卷積（EdgeConv）網(wǎng)絡(luò)模塊提取點(diǎn)云的局部幾何特征，保持排列不變性，對(duì)于3D識(shí)別任務(wù)具有重要意義。

多級(jí)圖卷積網(wǎng)絡(luò)（GCN）：這些網(wǎng)絡(luò)能夠分層聚合單視圖點(diǎn)云的形狀特征，有助于編碼對(duì)象的幾何線索和多視圖關(guān)系，生成更具體的全局特征。

鄰域圖濾波器：這種方法使用鄰域圖濾波器提取特征空間和笛卡爾空間中的鄰域特征信息和空間分布信息，有助于更好地理解點(diǎn)云數(shù)據(jù)。

基于圖的方法能夠有效地處理點(diǎn)云數(shù)據(jù)，提取特征并解決分類(lèi)、分割等任務(wù)，為點(diǎn)云分析領(lǐng)域的研究提供了重要的技術(shù)支持。

基于注意力機(jī)制的方法

基于注意力機(jī)制的方法將人類(lèi)感知的選擇性應(yīng)用于機(jī)器學(xué)習(xí)，專(zhuān)注于處理數(shù)據(jù)的部分信息而非整體。在點(diǎn)云分類(lèi)中，研究者們利用注意力機(jī)制來(lái)提高模型對(duì)關(guān)鍵信息的關(guān)注程度。這些方法包括以下幾個(gè)方面的工作：

點(diǎn)注意力變換器（PAT）：使用高效的Group-Shuffle Attention（GSA）代替昂貴的Multi-Head Attention（MHA），從而減少計(jì)算成本。

特征金字塔注意力模塊（FPA）和全局注意力上采樣模塊（GAU）：結(jié)合注意力機(jī)制和空間金字塔，提高模型對(duì)不同尺度特征的關(guān)注度。

局部空間感知（LSA）層：學(xué)習(xí)局部區(qū)域的空間關(guān)系，生成空間分布權(quán)重，執(zhí)行空間獨(dú)立操作，從而提取局部信息。

圖注意力卷積（GAC）：利用圖注意力卷積來(lái)提高模型對(duì)點(diǎn)云中局部信息的關(guān)注度。

GAPointNet：結(jié)合自注意力機(jī)制和圖卷積，學(xué)習(xí)局部信息表示，并使用并行機(jī)制來(lái)聚合不同層級(jí)的注意力特征，從而更好地提取局部上下文特征。

這些方法通過(guò)增強(qiáng)模型對(duì)點(diǎn)云中不同區(qū)域的關(guān)注度，提高了點(diǎn)云分類(lèi)任務(wù)的性能和準(zhǔn)確性。

全局特征聚合

基于Transformer的方法

基于Transformer的方法在點(diǎn)云處理領(lǐng)域取得了顯著的進(jìn)展。這些方法通過(guò)將點(diǎn)云作為輸入，并利用Transformer結(jié)構(gòu)中的自注意力機(jī)制，實(shí)現(xiàn)了對(duì)點(diǎn)云的全局特征建模和關(guān)聯(lián)學(xué)習(xí)。具體而言，這些方法包括以下關(guān)鍵點(diǎn)：

Point Transformer: Engel等人提出的Point Transformer直接操作無(wú)序和非結(jié)構(gòu)化的點(diǎn)集。它使用學(xué)習(xí)分?jǐn)?shù)的焦點(diǎn)模塊來(lái)提取局部和全局特征，并通過(guò)排序網(wǎng)絡(luò)對(duì)局部特征進(jìn)行排序，最后通過(guò)局部全局注意力關(guān)聯(lián)局部和全局特征。

Point TnT: Berg等人提出的Point TnT方法通過(guò)兩階段機(jī)制有效地實(shí)現(xiàn)了單個(gè)點(diǎn)和點(diǎn)集之間的相互關(guān)注，解決了傳統(tǒng)自注意力機(jī)制在處理全局關(guān)系時(shí)效率低下的問(wèn)題。

Visual Transformer (VT): Wu等人的VT將Transformer應(yīng)用于基于特征圖的圖像標(biāo)簽，更高效地學(xué)習(xí)和關(guān)聯(lián)稀疏分布的高級(jí)概念。

Detection Transformer (DETR): Carion等人的DETR將目標(biāo)檢測(cè)視為直接集成預(yù)測(cè)問(wèn)題，使用Transformer編碼器-解碼器生成邊界框，實(shí)現(xiàn)了端到端的檢測(cè)Transformer。

Point Cloud Transformer (PCT): Guo等人的PCT是一種基于Transformer的點(diǎn)云學(xué)習(xí)框架，通過(guò)偏移注意力和歸一化細(xì)化實(shí)現(xiàn)了對(duì)點(diǎn)云的全局特征建模，具有置換不變性。

Point-BERT: Yu等人的Point-BERT將BERT的概念推廣到點(diǎn)云，通過(guò)局部塊和點(diǎn)云標(biāo)記器生成局部信息的離散點(diǎn)標(biāo)簽，實(shí)現(xiàn)了對(duì)點(diǎn)云的建模和學(xué)習(xí)。

這些方法利用Transformer的優(yōu)勢(shì)，在點(diǎn)云處理中取得了令人矚目的成果，為點(diǎn)云的全局特征建模和關(guān)聯(lián)學(xué)習(xí)提供了新的思路和方法。

基于全局模塊的方法

基于全局模塊的方法旨在處理點(diǎn)云中的全局特征聚合問(wèn)題。這些方法通過(guò)設(shè)計(jì)特定的模塊或網(wǎng)絡(luò)結(jié)構(gòu)，能夠有效地捕獲整個(gè)點(diǎn)云的全局信息，從而提高了點(diǎn)云處理任務(wù)的性能。一些方法包括：

全局模塊：該模塊計(jì)算某個(gè)位置的響應(yīng)，作為所有位置特征的加權(quán)和，從而聚合全局特征。

PointASNL：該端到端網(wǎng)絡(luò)結(jié)合了自適應(yīng)采樣模塊（AS）和局部非局部模塊（L-NL），可以有效地處理嘈雜的點(diǎn)云。AS模塊通過(guò)推理更新點(diǎn)的特征，并通過(guò)重新加權(quán)初始采樣點(diǎn)來(lái)緩解偏置效應(yīng)。L-NL模塊由點(diǎn)的局部和非局部單元組成，降低了學(xué)習(xí)過(guò)程對(duì)噪聲的敏感性。

DeepGCN：這是一種深度GCN架構(gòu)，采用了一些CNN方法來(lái)支持。它包括GCN骨干模塊用于輸入點(diǎn)云特征轉(zhuǎn)換，融合模塊用于生成和融合全局特征，以及MLP模塊預(yù)測(cè)模塊用于預(yù)測(cè)標(biāo)簽。DeepGCN的設(shè)計(jì)旨在解決GCN訓(xùn)練中梯度消失的問(wèn)題，使得可以訓(xùn)練更深層的GCN網(wǎng)絡(luò)。

CurveNet：這是一種基于聚合假設(shè)曲線的方法，有效地實(shí)現(xiàn)了曲線的聚合策略。CurveNet的網(wǎng)絡(luò)結(jié)構(gòu)由一系列構(gòu)建塊組成，其中包括曲線分組運(yùn)算符和曲線聚合運(yùn)算符。

基于RNN或LSTM的方法 RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）

基于RNN或LSTM的方法通常利用這些循環(huán)結(jié)構(gòu)處理序列信息或全局上下文信息，以提高點(diǎn)云處理任務(wù)的性能和準(zhǔn)確性。Engelmann等人提出了擴(kuò)展了PointNet的PointNet++，以處理大規(guī)模場(chǎng)景，并通過(guò)引入額外的上下文信息提高了性能。Liu等人提出的3DCNN-DQN-RNN方法融合了多種網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)這種融合提高了處理大規(guī)模點(diǎn)云的準(zhǔn)確性。其他方法如RSNet、3P-RNN和Point2Sequence等也通過(guò)結(jié)合RNN或LSTM等循環(huán)結(jié)構(gòu)，有效地利用了上下文信息，提高了點(diǎn)云處理的性能。

D. 多態(tài)融合方法

多態(tài)融合方法將不同的數(shù)據(jù)表示方式融合在一起，以綜合利用它們的優(yōu)勢(shì)。Le等人提出了一種將點(diǎn)云和網(wǎng)格結(jié)合的策略，通過(guò)卷積塊和最大池化來(lái)表示不同層次的特征，能夠更好地識(shí)別細(xì)粒度模型和表示局部形狀。Zhang等人的PVT方法結(jié)合了稀疏窗口注意模塊和相對(duì)注意模塊，將體素和點(diǎn)云的思想相結(jié)合，在點(diǎn)云分類(lèi)的準(zhǔn)確性方面表現(xiàn)出色。PointCLIP利用預(yù)訓(xùn)練的CLIP學(xué)習(xí)點(diǎn)云，通過(guò)投影到多視圖深度圖中進(jìn)行編碼，實(shí)現(xiàn)了從2D預(yù)訓(xùn)練知識(shí)到3D域的零樣本識(shí)別。CrossPoint通過(guò)最大化點(diǎn)云和對(duì)應(yīng)渲染的2D圖像在不變空間中的表現(xiàn)，實(shí)現(xiàn)了2D到3D的對(duì)應(yīng)。與傳統(tǒng)方法相比，多態(tài)融合方法能夠更好地利用不同表示方式的信息，有望成為未來(lái)點(diǎn)云處理的重要方向。

6. 評(píng)估

評(píng)估是用來(lái)衡量點(diǎn)云分類(lèi)方法性能的重要過(guò)程。準(zhǔn)確度、空間復(fù)雜度、執(zhí)行時(shí)間等是評(píng)估方法的關(guān)鍵指標(biāo)，其中準(zhǔn)確度是最為關(guān)鍵的指標(biāo)之一。通常使用準(zhǔn)確度（Acc）、精度（Pre）、召回率（Rec）和交并比（IoU）等指標(biāo)來(lái)評(píng)估方法的準(zhǔn)確性。

準(zhǔn)確度（Acc）表示正確預(yù)測(cè)的樣本數(shù)與總預(yù)測(cè)樣本數(shù)的比率，是衡量整體分類(lèi)準(zhǔn)確性的指標(biāo)。

精度（Pre）表示被預(yù)測(cè)為正類(lèi)的真實(shí)正類(lèi)的比例，是衡量分類(lèi)器預(yù)測(cè)正類(lèi)的準(zhǔn)確性的指標(biāo)。

召回率（Rec）表示被預(yù)測(cè)為正類(lèi)的樣本數(shù)與真實(shí)正類(lèi)的總數(shù)的比率，是衡量分類(lèi)器找出所有正類(lèi)樣本的能力的指標(biāo)。

交并比（IoU）表示預(yù)測(cè)值與真實(shí)值的交集與并集的比率，是衡量?jī)蓚€(gè)集合重疊程度的指標(biāo)。

除了上述指標(biāo)外，還可以使用整體準(zhǔn)確度（OA）、平均準(zhǔn)確度（MA）和平均交并比（mIoU）等綜合指標(biāo)來(lái)評(píng)估方法的性能。這些指標(biāo)可以幫助研究人員全面了解方法在不同數(shù)據(jù)集上的表現(xiàn)，并為進(jìn)一步改進(jìn)提供參考。

7 總結(jié)與展望

在點(diǎn)云分類(lèi)領(lǐng)域，深度學(xué)習(xí)方法不斷創(chuàng)新，為3D應(yīng)用帶來(lái)新的可能性。本文綜述了近年來(lái)基于深度學(xué)習(xí)的點(diǎn)云分類(lèi)方法，包括多視圖、體素、點(diǎn)云和多態(tài)融合等不同類(lèi)型的方法。通過(guò)對(duì)比分析，可以看出各種方法在準(zhǔn)確性、效率和適用場(chǎng)景等方面存在差異。

在評(píng)估方面，準(zhǔn)確性是評(píng)價(jià)方法優(yōu)劣的關(guān)鍵指標(biāo)，同時(shí)還需要考慮空間復(fù)雜度和執(zhí)行時(shí)間等。常用的評(píng)估指標(biāo)包括準(zhǔn)確率、精確度、召回率和交并比等，用于評(píng)估方法的性能。

未來(lái)的研究方向包括提高準(zhǔn)確性和效率的平衡、針對(duì)室外場(chǎng)景進(jìn)一步優(yōu)化方法、簡(jiǎn)化點(diǎn)云處理流程等。創(chuàng)新型方法的研究也是未來(lái)的重點(diǎn)，需要不斷探索新的思路和技術(shù)。

總的來(lái)說(shuō)，基于深度學(xué)習(xí)的點(diǎn)云分類(lèi)方法在不斷發(fā)展，未來(lái)有望取得更大的突破，為3D應(yīng)用帶來(lái)更多可能性。