當(dāng)今的自動(dòng)駕駛行業(yè)是一個(gè)百舸爭(zhēng)流的局面，總體來(lái)看，還是西方引導(dǎo)東方的探索摸索，以 google 為主的以激光雷達(dá)為主的流派和以 Tesla 為主的機(jī)器視覺流派引導(dǎo)了整個(gè)市場(chǎng)。從發(fā)展趨勢(shì)來(lái)看，兩種方法正在進(jìn)一步融合，最終會(huì)各取優(yōu)勢(shì)而相互補(bǔ)充發(fā)展。對(duì)整個(gè)自動(dòng)駕駛領(lǐng)域，其核心技術(shù)是個(gè)擬人化的實(shí)現(xiàn)過(guò)程，即：感知->認(rèn)知->決策->控制->執(zhí)行五部分。感知，是所有智能體所要擁有的基本屬性，自動(dòng)駕駛要解決的第一個(gè)問題，就是汽車的感知系統(tǒng)，AI 算法的核心就是要解決感知問題。汽車的感知系統(tǒng)是多種傳感器融合的系統(tǒng)。

圖 1 自動(dòng)駕駛技術(shù)框架圖 來(lái)源：億歐智庫(kù)

如上圖所示，多傳感器融合共同組成自動(dòng)駕駛的感知層已經(jīng)成為行業(yè)共識(shí)，這是一個(gè)復(fù)雜的技術(shù)體系，本文主要討論最主要的感知部分：機(jī)器視覺，以攝像頭為主的計(jì)算機(jī)視覺解決方案，為汽車加上「眼睛」，能有效識(shí)別周邊環(huán)境及物體屬性。隨著 AI 算法的蓬勃發(fā)展, 機(jī)器視覺由基于規(guī)則向基于 CNN 神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)變。

圖 2 汽車傳感器示意圖 來(lái)源：億歐智庫(kù)

國(guó)內(nèi)的主要發(fā)展方向集中在視覺上的突破，一種原因是激光雷達(dá)和毫米波雷達(dá)被國(guó)外幾個(gè)大公司控制，核心技術(shù)短期內(nèi)難以突破，成本居高不下。而做機(jī)器視覺, 則成本低廉，且容易上手，國(guó)內(nèi)攝像頭的供應(yīng)鏈很完善，所以在這種情況下，國(guó)內(nèi)廠商更傾向于 CNN 網(wǎng)絡(luò)的機(jī)器視覺能做更多的事情，其實(shí)這種選擇是正確的，國(guó)內(nèi)廠商突破的最好的一個(gè)點(diǎn)就是視覺突破，視覺方案相對(duì)成熟和完善，可以利用國(guó)內(nèi)的一些特點(diǎn)，找到差異化競(jìng)爭(zhēng)的突破口，快速形成優(yōu)勢(shì)，再逐步迭代更新技術(shù)。如開車時(shí)任意變道的行為，這個(gè)國(guó)外的汽車檢測(cè)方式是等尾部進(jìn)入車道內(nèi)再進(jìn)行檢測(cè)，這明顯不符合國(guó)情，所以算法本土化，解決國(guó)人開車遇到的問題，就是差異化競(jìng)爭(zhēng)，這也更需要對(duì)算法有自己的把控能力。

車載系統(tǒng)對(duì) CNN 網(wǎng)絡(luò)的目標(biāo)檢測(cè)識(shí)別的要求是很高的，而且越高越好，這不僅僅是為了檢測(cè)車道和障礙物，還會(huì)在自動(dòng)駕駛中的另一個(gè)必不可少的條件：高精度地圖上有巨大的利用空間。因?yàn)閭鹘y(tǒng)的地圖模式無(wú)法滿足自動(dòng)駕駛的需求，它需要更多的維度信息，更新更及時(shí)，精度達(dá)到厘米級(jí)。精度要想達(dá)到厘米級(jí)，僅僅依靠衛(wèi)星是遠(yuǎn)遠(yuǎn)不夠的，目前兩個(gè)解決方案，一個(gè)是 RTK 方案，即在地面上建立大量的基準(zhǔn)站，由基準(zhǔn)站來(lái)彌補(bǔ) GNSS 定位的不足，這個(gè)方案精準(zhǔn)，但卻很貴。另外一個(gè)方案就是先將地圖上的多維度信息保存到數(shù)據(jù)庫(kù)，然后通過(guò)車載上的多傳感器（攝像頭，雷達(dá)）所獲取到的特征信息和數(shù)據(jù)庫(kù)進(jìn)行匹配，從而修正和彌補(bǔ)定位的精度問題，毫無(wú)疑問，這個(gè)方案更加實(shí)用和快速部署。國(guó)內(nèi)地圖公司更傾向于用這種方式，這就更加要求攝像頭檢測(cè)物體特征精準(zhǔn)度的問題了。

由算法的精度問題，不得不提算法的實(shí)現(xiàn)芯片方案，現(xiàn)在的精度最好的算法還是基于 CNN 的 AI 算法模型，CNN 算法要求的計(jì)算量是很大的，目前很多廠商都是直接用 nvidia 的 TX2 做為運(yùn)算主要載體，在 TX2 上運(yùn)行對(duì) GPU 友好的算法，這里其實(shí)有個(gè)誤區(qū)，當(dāng)算法對(duì) GPU 不友好時(shí)，就直接宣判了該算法的死刑，這樣操作是不合理的，GPU 成了前進(jìn)路上的一個(gè)拐杖，拐杖用的多了就產(chǎn)生了依賴性，反而喪失了發(fā)現(xiàn)更多空間的創(chuàng)造性，我們用兩條腿走路，還是要回歸到問題的本質(zhì)，根據(jù)問題的具體需求來(lái)尋求最優(yōu)的解決方案。自動(dòng)駕駛車載系統(tǒng)的基本要求低延時(shí)低功耗 以及算法的復(fù)雜性和多變性，決定了用 FPGA 做車載加速方案是一個(gè)理想的選擇。用 FPGA 做加速方案的另外一個(gè)不可忽視的好處是：成本可以做的很低。

所以機(jī)器視覺的好的方案已經(jīng)不單單是好的算法，而是一個(gè)在合理的硬件成本里得到一個(gè)最優(yōu)算法的求解問題。由算法來(lái)保證識(shí)別精度，由硬件來(lái)保證算法的實(shí)現(xiàn)速度，由成本來(lái)保證兩者都需要性價(jià)比最優(yōu)的搭配，這才是正確的解決思路。當(dāng)然，想同時(shí)實(shí)現(xiàn)上述幾點(diǎn)，并非易事。路，要一步一步的走，坑，要一個(gè)一個(gè)的趟，我們上述的問題一個(gè)一個(gè)的分析。

算法同源不同行，孰高孰低檢測(cè)忙

在整個(gè) AI 算法的大環(huán)境下，車載視覺系統(tǒng)的算法也是基于 CNN 的分割算法，這就引出目前主要的兩個(gè)算法 Faster RCNN 系列和 yolo 系列，兩者各有千秋，前者精度更準(zhǔn)，后者速度更快。前者是 two-stage 的方案，即先用最好的網(wǎng)絡(luò)來(lái)找出特征值，然后再調(diào)整框來(lái)檢測(cè)目標(biāo)。后者是 one-stage 的方案，即找特征值和畫框在一個(gè)網(wǎng)絡(luò)里完成。

通俗的理解，F(xiàn)aster RCNN 更符合人類「強(qiáng)強(qiáng)聯(lián)合」的概念，即：找出目前性能最好的網(wǎng)絡(luò)，然后再組裝成一起，產(chǎn)生更優(yōu)的效果，它是基于多網(wǎng)絡(luò)融合的方案，所以它的特點(diǎn)就很明確：算的準(zhǔn)，但是算的慢。yolo 的誕生，恰恰是解決了這個(gè)問題，yolo 的最大的特點(diǎn)就是快到?jīng)]朋友，但在精度方面卻遜色于 Faster RCNN。

數(shù)據(jù)對(duì)比：

圖 3 Faster R-CNN 是精度最高的 來(lái)源：網(wǎng)絡(luò)

COCO 數(shù)據(jù)集上，前 10 名中有 9 項(xiàng)都是來(lái)自于 Faster R-CNN 的變體。

這兩種方法都有很多變體，one-stage 的方法在精度上不斷想與 two-stage 的方法抗衡，two-stage 不斷的在加快計(jì)算速度，但在數(shù)據(jù)集上的結(jié)論以及越來(lái)越快的 Faster R-CNN 變體的可以說(shuō)明，F(xiàn)aster R-CNN 的 檢測(cè)精度始終保持領(lǐng)先。但在速度上，yolo 是遙遙領(lǐng)先的。

圖 4 yolo 的速度是最快的 來(lái)源：網(wǎng)絡(luò)

正是 Yolo 在速度上明顯提高，YOLO 的確受到車載系統(tǒng)的青睞，Yolo 真的是車載系統(tǒng)的首選嗎？答案未必，正如上文所述，F(xiàn)aster RCNN 的精度是最好的，如果能將其速度也提上去，豈不是更好的選擇。

為此，我們先分析下 Faster RCNN 精度高的原因：

首先，前景背景分離的區(qū)別。Faster RCNN 是有前景背景分離的。這會(huì)要求在訓(xùn)練該網(wǎng)絡(luò)時(shí)需要進(jìn)行正負(fù)樣本都要訓(xùn)練，也就是說(shuō)正確的范疇我要負(fù)責(zé)，錯(cuò)誤的范疇我也要負(fù)責(zé)。這會(huì)大大減少誤檢率的概率，所以 Faster RCNN 的查全率（recall）會(huì)特別的高。

而 yolo 則沒有這樣的算法結(jié)構(gòu)，它只有正樣本訓(xùn)練，不會(huì)區(qū)分前景和背景的區(qū)別。其實(shí)這一點(diǎn)是對(duì)自動(dòng)駕駛不太友好的，例如之前 Tesla 的自動(dòng)駕駛事故就是因?yàn)闄z測(cè)算法沒有區(qū)分前景和背景，將迎面開來(lái)的白色卡車和背景中的白云混為一體，從而導(dǎo)致事故發(fā)生。

其次，畫框方式的區(qū)別。Faster RCNN 和畫框的方式和 yolo 是不一樣的，yolo 是將框的問題作為一個(gè)聚類問題解決，由算法去自適應(yīng)物體形狀。而 Faster RCNN 是按照一定規(guī)則的框去逼近物體形狀。如下圖所示，9 個(gè)矩形共有 3 種形狀，長(zhǎng)寬比為大約為（1:2,1:1,2:1）三種，通過(guò) anchors 就引入了檢測(cè)中常用到的多尺度方法。

圖 5 框的類型 來(lái)源：網(wǎng)絡(luò)

這種人為定義的框的結(jié)構(gòu)更能精準(zhǔn)的標(biāo)定物體，當(dāng)然，任何優(yōu)勢(shì)都是有代價(jià)的。Faster RCNN 為每一個(gè)點(diǎn)都配備這 9 種 anchors 作為初始的檢測(cè)框，所以在原始圖上，anchors 的個(gè)數(shù)特別多，然后讓 cnn 來(lái)判斷哪些是有目標(biāo)的前景，哪些是沒有目標(biāo)的背景，然后再對(duì)目標(biāo) anchors 進(jìn)行排序和 NMS（非最大值抑制），即能得到最好的效果。能量是守恒的，當(dāng)獲得優(yōu)勢(shì) A 時(shí)，并將付出 B 的代價(jià)，關(guān)鍵看代價(jià)是什么。feature map 每個(gè)點(diǎn)設(shè)置 9 個(gè) Anchor，所以他的 anchor 是很多的，如下圖所示（網(wǎng)絡(luò)截圖）：

圖 6 anchor 的框圖 來(lái)源：網(wǎng)絡(luò)

當(dāng)然，好處也是很明顯的，舉個(gè)例子，如下圖：

圖 7 框的平移轉(zhuǎn)換示意圖 來(lái)源：網(wǎng)絡(luò)

每個(gè) Anchor 的平移量和變換尺度，顯然即可用來(lái)修正 Anchor 位置了。紅色為提取的 foreground anchors，即便紅色的框被分類器識(shí)別為飛機(jī)，但是由于紅色的框定位不準(zhǔn)，這張圖相當(dāng)于沒有正確的檢測(cè)出飛機(jī)，每個(gè) Anchor 的平移量和變換尺度，即可用來(lái)修正 Anchor 位置了，表現(xiàn)結(jié)果即是由只標(biāo)出主體的紅框轉(zhuǎn)換為標(biāo)記更準(zhǔn)的綠框，顯然，綠框的精度更準(zhǔn)。

相對(duì)來(lái)說(shuō)，Yolo 系列不區(qū)分前景和背景，畫框的方式也是做一個(gè)回歸的問題，這會(huì)對(duì)密集的目標(biāo)的畫框方式導(dǎo)致不準(zhǔn)，yolo 會(huì)把密集的目標(biāo)會(huì)畫成一個(gè)框。

圖 8 yolo 密集目標(biāo)檢測(cè) 來(lái)源：雪湖實(shí)測(cè)

除了精度高之外，能做多網(wǎng)融合是 Faster RCNN 的另外一個(gè)很重要的特點(diǎn)。特別對(duì)于車載系統(tǒng)，由于現(xiàn)實(shí)的復(fù)制性和應(yīng)用的廣泛性，經(jīng)常會(huì)需要添加不同的網(wǎng)絡(luò)和良好的性能，如增加車道檢測(cè)等，可以將不同的網(wǎng)絡(luò)通過(guò) interp（雙線性插值）層來(lái)進(jìn)行實(shí)現(xiàn)不同網(wǎng)絡(luò)之間的平滑過(guò)渡。

利用這個(gè)特點(diǎn)，我們可以做很多啟發(fā)性的探索，前面提到，多傳感器融合來(lái)構(gòu)建自動(dòng)駕駛的感知層是行業(yè)共識(shí)，如激光雷達(dá)在自動(dòng)駕駛中是個(gè)很核心的傳感器，有沒有將激光雷達(dá)和視覺同時(shí)融合到一個(gè)網(wǎng)絡(luò)中的方案呢？有人提出這樣的方案，如下：

圖 9 用 FasterRCNN 來(lái)融合激光雷達(dá)和視覺算法 來(lái)源：網(wǎng)絡(luò)

上圖的方案，總體上沿用了 Faster RCNN 的檢測(cè)框架，但是在輸入、proposal 的形式以及 Faster RCNN 網(wǎng)絡(luò)上做了較大的改動(dòng)，以實(shí)現(xiàn)視覺與激光點(diǎn)云的信息融合。

這個(gè)網(wǎng)絡(luò)給了我們很大的啟示，多傳感器融合方案框架是自動(dòng)駕駛的必備技能，我們必然要考慮不同的傳感器的特性和適應(yīng)該傳感器的算法結(jié)構(gòu)，然后將多種算法結(jié)構(gòu)融合到一個(gè)算法框架中來(lái)，而 Faster RCNN 網(wǎng)絡(luò)本身就是基于多網(wǎng)絡(luò)融合的方案制成的，所以用 Faster RCNN 來(lái)做車載系統(tǒng)有其兼容多傳感器方案的巨大優(yōu)勢(shì)。

既然 Faster RCNN 這么多的好處，為什么用的人少呢？主要原因就是算的慢，如下圖所示

由上面圖表可以看出，F(xiàn)aster RCNN 在 TX2 的運(yùn)行結(jié)果是非常慢的。算法慢，便無(wú)解了嗎？未必。因?yàn)檫@里所謂的慢，是針對(duì) GPU 而言的，是因?yàn)樗惴▽?duì) GPU 不友好導(dǎo)致的結(jié)果，而對(duì) GPU 不友好，未必對(duì)其他異構(gòu)計(jì)算平臺(tái)不友好，事實(shí)證明，這恰恰是 FPGA 的優(yōu)勢(shì)所在。

安能得來(lái)偷天技？兼顧精度與速度

在 GPU 運(yùn)行慢的網(wǎng)絡(luò)，可以在 FPGA 上進(jìn)行加速實(shí)現(xiàn)。而要想提高速度，就要對(duì)網(wǎng)絡(luò)進(jìn)行具體分析，是哪些層運(yùn)算速度慢以及慢的原因在哪里？

圖 11 Faster RCNN 的框架圖 來(lái)源：網(wǎng)絡(luò)

如上圖所示，前半部分是基礎(chǔ)網(wǎng)絡(luò)來(lái)提取特征值，后半部分在畫框，RPN 網(wǎng)絡(luò)負(fù)責(zé)前景背景分離，排序算法負(fù)責(zé)篩選，最后全連接輸出結(jié)果。

總體運(yùn)行結(jié)果，進(jìn)一步分析每層的耗時(shí)：

圖 12 Faster RCNN 在 gpu 中每層的耗時(shí) 來(lái)源：雪湖實(shí)測(cè)

關(guān)鍵層 interp 層的分析：

圖 13 Interp 層分析 來(lái)源：雪湖實(shí)測(cè)

通過(guò)圖 12 的分析結(jié)果我們得出結(jié)論，耗時(shí)最長(zhǎng)的都集中在了 proposal（排序）及以后的層（FC 層）。通過(guò)圖 13 Interp 層（雙線性插值）的分析，我們也得出結(jié)論，GPU 對(duì) Interp 層的加速有限，速度沒有 CPU 的運(yùn)算快。通過(guò)這些數(shù)據(jù)的分析，我們就能很明白的知道 GPU 的優(yōu)勢(shì)和劣勢(shì)在哪里，GPU 的優(yōu)勢(shì)在于能重復(fù)數(shù)據(jù)切片，在運(yùn)算 cnn 圖片時(shí)它是有優(yōu)勢(shì)的，因?yàn)閳D片可以分成不同的 tile 片，然后 GPU 會(huì)對(duì)每個(gè) tile 進(jìn)行并行計(jì)算，當(dāng)算法并不能很好的完成切片動(dòng)作時(shí)，GPU 便沒有什么實(shí)質(zhì)的優(yōu)勢(shì)，從上圖可以看出，proposal 和 FC6 都很耗時(shí)，proposal 層就是在排序，排序?qū)?GPU 是不友好的。Interp 層也是不好切片操作的，所以 proposal 模塊及以后耗時(shí)比較大。

知道了相應(yīng)的數(shù)據(jù)和原理，在 FPGA 上就能很好解決這些問題，對(duì) FPGA 來(lái)說(shuō)，F(xiàn)PGA 是可編程的，是可以將整個(gè)算法一分為二的，在 proposal 之前是一部分，在 proposal 之后是一部分，兩者在全流水運(yùn)算后是一個(gè)并行的狀態(tài)。這樣用并行的計(jì)算來(lái)抵消后面的耗時(shí)時(shí)間，就能大大的縮小計(jì)算時(shí)延。

針對(duì) Interp 層，F(xiàn)PGA 可以將相應(yīng)放大的系數(shù)存入 BRAM 中，這樣的時(shí)間更短，是 CPU 的 3 倍左右的速度。Interp 層的意義是很大的，因?yàn)榍懊嫖覀兎治鲞^(guò)，自動(dòng)駕駛的感知層很適合做多網(wǎng)絡(luò)融合的方案，而 Interp 層正式這些網(wǎng)絡(luò)結(jié)合的連接層，經(jīng)過(guò)大量實(shí)驗(yàn)證明，用 Interp 做分辨率的上下采樣切換，能最大的保留原始圖片的特征信息，從而使多個(gè)網(wǎng)絡(luò)間能夠平滑過(guò)渡。這也就意味著多網(wǎng)絡(luò)融合的方案更適合用 FPGA 來(lái)實(shí)現(xiàn)。

除了前面的優(yōu)化方法之外，我們還可以考慮層合并，切割 featuremap，權(quán)重共享，減少 IO 讀寫時(shí)間等方式來(lái)進(jìn)行進(jìn)一步的優(yōu)化。另外一個(gè)不得不提到優(yōu)化方向就是量化成 8bit 數(shù)據(jù)進(jìn)行計(jì)算，這樣 FPGA 中的 DSP 每次都能運(yùn)算兩個(gè)數(shù)，這就可以使用性價(jià)比更高的 FPGA 芯片上進(jìn)行運(yùn)算，從而得到更高的收益。雪湖科技就是這樣做的。

圖 14 雪湖科技開發(fā)的 Faster RCNN 的性能參數(shù)

當(dāng)然，并非說(shuō) yolo 算法沒有優(yōu)勢(shì)，雪湖也對(duì) yolo 系列做了 FPGA 加速的方案。

圖 15 雪湖開發(fā)的 yolov3-tiny 的性能參數(shù)

雪湖做的工作只是說(shuō)明用什么樣的算法應(yīng)該根據(jù)真實(shí)情況而定，而不單單是看 GPU 的運(yùn)算指標(biāo)，F(xiàn)PGA 有很多很驚艷的東西，它的潛力一直擺在那里，只是尚未被挖掘出來(lái)，雪湖在 FPGA 領(lǐng)域深耕多年，能把 FPGA 的潛力充分挖掘，只要能做到這一點(diǎn)，出來(lái)的結(jié)果就足夠驚艷。

風(fēng)景莫道塞外好, 江南深處藏雪湖

開發(fā) FPGA 是有難度的，要對(duì) FPGA 的邏輯實(shí)現(xiàn)和算法優(yōu)化有很深的理解之外，

沒有一支精干的團(tuán)隊(duì)，沒有一個(gè)好的驗(yàn)證平臺(tái)，沒有強(qiáng)有力的 EDA 開發(fā)工具，

將這么復(fù)雜的算法要在一個(gè)資源有限的 FPGA 芯片上實(shí)現(xiàn)并達(dá)到很高的吞吐量，難度是可想而知的。

雪湖科技在這方面下足了功夫，十年磨一劍，打造出一套完全自主產(chǎn)權(quán)的完整的先進(jìn)的工具系統(tǒng)，同時(shí)，針對(duì) CNN 的 AI 算法這塊，專門打磨出一套完整的開發(fā)/驗(yàn)證系統(tǒng)。

圖 16 雪湖 CNN 算法實(shí)現(xiàn)框架圖 來(lái)源：雪湖科技

如上圖所示，我們將所有的計(jì)算模塊都進(jìn)行封裝，并通過(guò)不同的 command 來(lái)執(zhí)行不同的算子操作，最終會(huì)加快 CNN 算法的實(shí)現(xiàn)和落地。

將 AI 算法快速落地，是雪湖的優(yōu)勢(shì)所在。雪湖，以算力為根本，為加速而存在，不止步于自動(dòng)駕駛，不畏懼于技術(shù)變遷。以擁有完全自主產(chǎn)權(quán)的核心技術(shù)為榮，以創(chuàng)新和拼搏為榮。在 FPGA 芯片加速計(jì)算領(lǐng)域 (包括但不限于 AI 算法) 絕對(duì)是一道亮麗的風(fēng)景線，正所謂：風(fēng)景莫道塞外好，江南深處藏雪湖！