近年來，隨著深度學習在圖像視覺領域的發(fā)展，一類基于單純的深度學習模型的點云目標檢測方法被提出和應用，本文將詳細介紹其中一種模型——SqueezeSeg，并且使用ROS實現該模型的實時目標檢測。

傳統(tǒng)方法VS深度學習方法

實際上，在深度學習方法出現之前，基于點云的目標檢測已經有一套比較成熟的處理流程：分割地面->點云聚類->特征提取->分類，典型的方法可以參考Velodyne的這篇論文：LIDAR-based 3D Object Perception

▌那么傳統(tǒng)方法存在哪些問題呢？

1.第一步的地面分割通常依賴于人為設計的特征和規(guī)則，如設置一些閾值、表面法線等，泛化能力差；

2.多階段的處理流程意味著可能產生復合型錯誤——聚類和分類并沒有建立在一定的上下文基礎上，目標周圍的環(huán)境信息缺失；

3.這類方法對于單幀激光雷達掃描的計算時間和精度是不穩(wěn)定的，這和自動駕駛場景下的安全性要求（穩(wěn)定，小方差）相悖。

因此，近年來不少基于深度學習的點云目標檢測方法被提出，本文介紹的SqueezeSeg就是其中一種，這類方法使用深度神經網絡提取點云特征，以接近于端到端的處理流程實現點云中的目標檢測。

論文：SqueezeSeg: Convolutional Neural Nets with Recurrent CRF for Real-Time Road-Object Segmentation from 3D LiDAR Point Cloud,

https://arxiv.org/pdf/1710.07368.pdf

SqueezeSeg理論部分

▌概括

SqueezeSeg使用的是CNN(卷積神經網絡)+CRF（Conditional Random Field，條件隨機場）這樣的結構。

其中，CNN采用的是Forrest提出的SqueezeNet網絡（詳情見論文：“SqueezeNet: Alexnet-level accuracy with 50x fewer

parameters and < 0.5mb model size”, https://arxiv.org/pdf/1602.07360.pdf ）, 該網絡使用遠少于AlexNet的參數數量便達到了等同于AlexNet的精度，極少的參數意味著更快的運算速度和小的內存消耗，這是符合車載場景需求的。

被預處理過的點云數據（二維化）將被以張量的形式輸入到這個CNN中，CNN輸出一個同等寬高的標簽映射（label map），實際上就是對每一個像素進行了分類，然而單純的CNN逐像素分類結果會出現邊界模糊的問題，為解決該問題，CNN輸出的標簽映射被輸入到一個CRF中，這個CRF的形式為一個RNN，其作用是進一步的矯正CNN輸出的標簽映射。最終的檢測結果論文中使用了DBSCAN算法進行了一次聚類，從而得到檢測的目標實體。

下面我們從預處理出發(fā)，首先理解這一點云目標檢測方法。

▌點云預處理

傳統(tǒng)的CNN設計多用于二維的圖像模式識別（寬 × imes× 高 × imes× 通道數），三維的點云數據格式不符合該模式，而且點云數據稀疏無規(guī)律，這對特征提取都是不利的，因此，在將數據輸入到CNN之前，首先對數據進行球面投影，從而到一個稠密的、二維的數據，球面投影示意圖如下：

其中，?和θ分別表示點的方位角（azimuth）和頂角（altitude），這兩個角如下圖所示：

通常來說，方位角是相對于正北方向的夾角，但是，在我們Lidar的坐標系下,方位角為相對于x方向（車輛正前方）的夾角，?和θ的計算公式為：

其中，(x,y,z) 為三維點云中每一個點的坐標。所以對于點云中的每一個點都可以通過其 (x,y,z) 計算其 (θ,?) ,也就是說我們將三維空間坐標系中的點都投射到了一個球面坐標系，這個球面坐標系實則已經是一個二維坐標系了，但是，為了便于理解，我們對其角度進行微分化從而得到一個二維的直角坐標系：

那么，球面坐標系下的每一個點都可以使用一個直角坐標系中的點表示，如下：

通過這么一層變換，我們就將三維空間中任意一點的位置(x,y,z) 投射到了2維坐標系下的一個點的位置 (i,j) 我們提取點云中每一個點的5個特征: (x,y,z,intensity,range) 放入對應的二維坐標 (i,j) 內。從而得到一個尺寸為 (H,W,C) 張量（其中C=5）,由于論文使用的是Kitti的64線激光雷達，所以 H=64，水平方向上，受Kitti數據集標注范圍的限制，原論文僅使用了正前方90度的Lidar掃描，使用512個網格對它們進行了劃分（即水平上采樣512個點）。所以，點云數據在輸入到CNN中之前，數據被預處理成了一個尺寸為 (64×512×5) 的張量。

▌CNN結構

SqueezeSeg的CNN部分幾乎完全采用的SqueezeNet網絡結構，SqueezeNet是一個參數量極少但是能夠達到AlexNet精度的CNN網絡，在對實時性有要求的點云分割應用場景中采用頗有意義。其網絡結構如下：

該網絡最大的特色為兩個結構，被稱為 fireModules 和 fireDeconvs，這兩種網絡層的具體結構如下：

由于輸入的張量的高度（64）要小于其寬度（512），該網絡主要對寬度進行降維，通過添加最大池化層（Max Pooling）降低數據的寬度。到Fire9輸出的是降維后的特征映射。為了得到一個完整的映射標簽，還需要對特征映射進行還原（即還原到原尺寸），conv14層的輸出即對每個點的分類概率映射。輸出最后被輸入到一個條件隨機場中進行進一步的矯正。

SqueezeSeg中采用的CRF

在深度學習技術不斷進步的同時，概率圖形模型已被開發(fā)為用于提高像素級標記任務準確性的有效方法。馬爾可夫隨機場（Markov Random Fields, MRF）及其變體——條件隨機場（Conditional Random Fields, CRF）已經成為計算機視覺中最成功的概率圖模型之一。

由于CNN網絡的下采樣層（如最大池化層）的存在，使得數據的一些底層細節(jié)在CNN被拋棄，近而造成CNN輸出的預測分類存在邊界模糊的問題。高精度的逐像素分類不僅依賴于高層特征，也受到底層細節(jié)信息的影響，細節(jié)信息對于標簽分類的一致性至關重要。打個比方，如果點云中兩個點相近，同時具有類似的強度值（intensity），那么它們就有可能屬于同一個目標（即具有一樣的分類）。

CRF推理應用于語義標記的關鍵思想是將標簽分配（對于像素分割來說就是像素標簽分配）問題表達為包含類似像素之間具有一定標簽協(xié)議的假設的概率推理問題。CRF推理能夠改進像素級標簽預測，以產生清晰的邊界和細粒度的分割。因此，CRF可用于克服利用CNN進行像素級標記任務的缺點。為了彌補下采樣過程中細節(jié)信息的損失，SqueezeSeg在最后使用RNN實現一個CRF推理，以對label map進行進一步精煉，這里作者參考了論文： Conditional Random Fields as Recurrent Neural Networks ，該論文提出了mean-field 近似推理，以帶有高斯pairwise的勢函數的密集CRF作為RNN，在前向過程中對CNN粗糙的輸出精細化，同時在訓練時將誤差返回給CNN。結合了CNN與RNN的模型可以正常的利用反向傳播來端對端的訓練。SqueezeSeg的CRF部分結構如下圖所示：

我們將CNN的輸出結果作為CRF的輸入，根據原始點云計算高斯濾波器，其有兩個高斯核，如下所示：

其中x為點的三維坐標 (x,y,z) ，p為點經過球面投影得到的方位角和頂角 (θ,?)，其他參數為經驗性閾值。該高斯核衡量了兩點之間特征的差異，兩點之間差異越大( x xx 和 p pp 相差越多)，高斯核的值就越小，兩點之間的相關性也就越小。在輸入圖像使用該高斯濾波器的過程稱為message passing，可以初步聚合鄰域點的概率。接著，通過1x1大小的卷積核去微調每一個點的概率分布權重，這一個過程稱為re-weighting and compatibilty transformation，卷積核的值是通過學習得到。最后，以殘差方式將最初的便簽映射加到re-weighting的輸出結果并用softmax歸一化。在實際操作中，整個CRF以RNN層重復循環(huán)三次，并得到最終精煉后的標簽映射。

使用SqueezeSeg實現一個ROS節(jié)點進行點云目標識別與分割

SqueezeSeg的模型訓練代碼在本文中不在贅述，感興趣的同學可以直接去看作者的開源代碼：

SqueezeSeg作者開源的模型訓練代碼：

https://github.com/BichenWuUCB/SqueezeSeg

上面的代碼為TensorFlow實現，基于上述倉庫，我們實現一個ROS節(jié)點，調用一個已經訓練好的SqueezeSeg模型，對輸入的點云進行目標識別和分割。所以在運行下述實例代碼之前，需要自行安裝好TensorFlow-GPU版本（CPU版本亦可，但是運行速度相對要慢一些），本文假定大家已經安裝好TensorFlow環(huán)境，我們來繼續(xù)關注基于SqueezeSeg的ROS應用開發(fā)，我們采用論文作者公開的數據（來源于Kitti，采集自HDL-64雷達，同時已經完成了前向90度的切割，并且被保存成了npy文件）。

數據下載地址：

https://www.dropbox.com/s/pnzgcitvppmwfuf/lidar_2d.tgz?dl=0

國內讀者如無法訪問，可以使用此地址下載：

https://pan.baidu.com/s/1kxZxrjGHDmTt-9QRMd_kOA

將數據下載好以后解壓到ROS package的 script/data/ 目錄下，解壓以后的目錄結構為：

squeezeseg_ros/script/data/lidar_2d/

完整代碼見文末github倉庫。

采用作者開源的數據的一個很重要的原因在于手頭沒有64線的激光雷達，首先我們看看launch文件內容：

npy_path參數即為我們的數據的目錄，我們將其放在package的script/data目錄下，npy_file_list是個文本文件的路徑，它記錄了驗證集的文件名，pub_topic指定我們最后發(fā)布出去的結果的點云topic名稱，checkpoint參數指定我們預先訓練好的SqueezeSeg模型的目錄，它是一個TensorFlow 的checkpoint文件，gpu參數指定使用主機的那一快GPU（即指定GPU的ID），通常我們只有一塊GPU，所以這里設置為0,如果主機沒有安裝GPU（當然TensorFlow-gpu也就無法工作），則會使用CPU。squeezeseg_ros_node.py即為我們調用模型的接口，最后我們在啟動Rviz，加載設定好的Rviz配置文件，即可將模型的識別結果可視化出來。

具體到squeezeseg_ros_node.py中，首先加載參數并且配置checkpoint路徑：

rospy.init_node('squeezeseg_ros_node')npy_path=rospy.get_param('npy_path')npy_file_list=rospy.get_param('npy_file_list')pub_topic=rospy.get_param('pub_topic')checkpoint=rospy.get_param('checkpoint')gpu=rospy.get_param('gpu')FLAGS=tf.app.flags.FLAGStf.app.flags.DEFINE_string('checkpoint',checkpoint,"""Pathtothemodelparamterfile.""")tf.app.flags.DEFINE_string('gpu',gpu,"""gpuid.""")npy_tensorflow_to_ros=NPY_TENSORFLOW_TO_ROS(pub_topic=pub_topic,FLAGS=FLAGS,npy_path=npy_path,npy_file_list=npy_file_list)

循環(huán)讀取npy數據文件，讀取文件的代碼如下：

#Readall.npydatafromlidar_2dfolderdefget_npy_from_lidar_2d(self,npy_path,npy_file_list):self.npy_path=npy_pathself.npy_file_list=open(npy_file_list,'r').read().split(' ')self.npy_files=[]foriinrange(len(self.npy_file_list)):self.npy_files.append(self.npy_path+self.npy_file_list[i]+'.npy')self.len_files=len(self.npy_files)

調用深度學習模型對點云進行分割和目標檢測識別,并將檢測出來的結果以PointCloud2的msg格式發(fā)到指定的topic上：

#Readall.npydatafromlidar_2dfolderdefget_npy_from_lidar_2d(self,npy_path,npy_file_list):self.npy_path=npy_pathself.npy_file_list=open(npy_file_list,'r').read().split(' ')self.npy_files=[]foriinrange(len(self.npy_file_list)):self.npy_files.append(self.npy_path+self.npy_file_list[i]+'.npy')self.len_files=len(self.npy_files)defprediction_publish(self,idx):clock=Clock()record=np.load(os.path.join(self.npy_path,self.npy_files[idx]))lidar=record[:,:,:5]#toperformpredictionlidar_mask=np.reshape((lidar[:,:,4]>0),[self._mc.ZENITH_LEVEL,self._mc.AZIMUTH_LEVEL,1])norm_lidar=(lidar-self._mc.INPUT_MEAN)/self._mc.INPUT_STDpred_cls=self._session.run(self._model.pred_cls,feed_dict={self._model.lidar_input:[norm_lidar],self._model.keep_prob:1.0,self._model.lidar_mask:[lidar_mask]})label=pred_cls[0]#pointcloudforSqueezeSegsegmentsx=lidar[:,:,0].reshape(-1)y=lidar[:,:,1].reshape(-1)z=lidar[:,:,2].reshape(-1)i=lidar[:,:,3].reshape(-1)label=label.reshape(-1)cloud=np.stack((x,y,z,i,label))header=Header()header.stamp=rospy.Time().now()header.frame_id="velodyne_link"#pointcloudsegmentsmsg_segment=self.create_cloud_xyzil32(header,cloud.T)#publishself._pub.publish(msg_segment)rospy.loginfo("Pointcloudprocessed.Took%.6fms.",clock.takeRealTime())

不同于一般的PointCloud2 msg，這里的每一個點除了包含x，y，z，intensity字段以外，還包含一個label字段（即分類的結果），構建5字段的PointCloud2 msg的代碼如下：

#createpc2_msgwith5fieldsdefcreate_cloud_xyzil32(self,header,points):fields=[PointField('x',0,PointField.FLOAT32,1),PointField('y',4,PointField.FLOAT32,1),PointField('z',8,PointField.FLOAT32,1),PointField('intensity',12,PointField.FLOAT32,1),PointField('label',16,PointField.FLOAT32,1)]returnpc2.create_cloud(header,fields,points)

使用launch文件啟動節(jié)點：

roslaunchsqueezeseg_rossqueeze_seg_ros.launch

彈出Rviz界面，識別分割如下：

在我的 CPU:i7-8700 + GPU:GTX1070的環(huán)境下，處理一幀數據的耗時大約在50ms以內，如下：

對于semantic segmentationz這類任務而言，其速度已經比較可觀了，通常雷達頻率約為10HZ，該速度基本達到要求。