據(jù)麥姆斯咨詢介紹，隨著全球汽車制造商開發(fā)出更多配備Level 2或更高級別自動駕駛功能（但仍不能忽視人工監(jiān)督）的車輛，汽車產(chǎn)業(yè)對車內(nèi)監(jiān)控系統(tǒng)的需求越來越多。車內(nèi)監(jiān)控系統(tǒng)的設(shè)計目的主要是關(guān)注駕駛員行為，確保他們能夠集中注意力，并在需要時收回對自動駕駛汽車的控制權(quán)。

全球汽車制造商采用的一個解決方案是在他們的車輛上增加一套駕駛員監(jiān)控系統(tǒng)（DMS）。近期，PathPartner利用4D成像雷達和攝像頭融合技術(shù)開發(fā)出一款DMS的擴展系統(tǒng)——乘客監(jiān)控系統(tǒng)（OMS），進一步提升了安全性、舒適性和便捷性。

PathPartner成立于2006年，是一家專業(yè)的產(chǎn)品工程服務(wù)公司，為汽車、消費電子、通信、醫(yī)療和物聯(lián)網(wǎng)領(lǐng)域的客戶提供從概念到量產(chǎn)的服務(wù)。通過圍繞深度學習、計算機視覺、多媒體、圖像和物聯(lián)網(wǎng)構(gòu)建的創(chuàng)新技術(shù)，為客戶解決了復雜的業(yè)務(wù)挑戰(zhàn)，加快產(chǎn)品上市時間。PathPartner的業(yè)務(wù)遍及全球，在印度班加羅爾和科欽、德國法蘭克福和美國硅谷設(shè)有研發(fā)中心。

PathPartner負責研發(fā)的副總裁Vinay MK表示：“將攝像頭和毫米波雷達結(jié)合在一起，可以在低光、嘈雜的環(huán)境下顯著提高檢測精度。我們采用的攝像頭具有近紅外照明，可以在不同的照明條件下實現(xiàn)可靠的性能?！?/p>

4D成像雷達如何工作？

4D成像雷達代表著下一代毫米波雷達技術(shù)。它的工作原理類似具有閃光燈的照相機，在拍攝前利用毫米波（一種不可見的電磁波）瞬間照射目標物體。在傳統(tǒng)照相機中，閃光燈發(fā)射出可見光，以實現(xiàn)在低光照條件下的目標捕捉。而4D成像雷達則通過天線接收毫米波，使用靜態(tài)隨機存取存儲器（SRAM）記錄目標圖像。

4D成像雷達探測目標的圖像猶如“點云”，可顯示車輛中人員或物體的尺寸、形狀、位置和移動等信息。從這些雷達圖像中，可以利用深度學習算法來識別它們是什么。當作為駕駛員或乘客監(jiān)控系統(tǒng)的一部分時，PathPartner的4D成像雷達技術(shù)可用于檢測汽車內(nèi)部的細微運動，甚至是人和動物的呼吸，例如在毛毯下熟睡的兒童或有寵物的地方。

三種類型的汽車雷達系統(tǒng)

汽車雷達系統(tǒng)可以根據(jù)探測范圍分為三種類型：近程雷達、中程雷達、遠程雷達。例如，近程雷達可以探測到距離車輛30米遠的物體。近程雷達通常放置在車輛的后角，以支持盲點檢測、追尾警告、交叉路口警報和泊車輔助。

中程雷達探測30米至80米范圍內(nèi)的目標物體，遠程雷達探測距離大于80米的目標物體。遠程雷達用于汽車安全系統(tǒng)，如自動緊急制動（AEB）和自適應(yīng)巡航控制（ACC）。

Pathparter駕駛員和乘客監(jiān)控系統(tǒng)中使用的毫米波雷達具有較小的波長、更高的分辨率和精度，因此能夠更好地區(qū)分兩個目標。這款毫米波雷達由于其體積小、性能強勁，獲得汽車制造商的青睞。

PathPartner駕駛員和乘客監(jiān)控系統(tǒng)

基于毫米波雷達的駕駛員和乘客監(jiān)控

我們與PathPartner負責研發(fā)的副總裁Vinay MK進行了更深入的交流，他進一步解釋了公司在駕駛員和乘客監(jiān)控系統(tǒng)中使用的底層技術(shù)。他還解釋了基于攝像頭的監(jiān)控和使用4D成像雷達的監(jiān)控之間的主要區(qū)別。

Vinay MK介紹說：“基于攝像頭的監(jiān)控系統(tǒng)可以檢測到安全帶的正確使用和乘客的身高，這兩項都是安全氣囊正確打開的關(guān)鍵要素?；跀z像頭的監(jiān)控系統(tǒng)可以用來監(jiān)控駕駛員的活動，比如抽煙、打電話、吃飯、喝酒、玩手機、分心、睡覺等，它還可以探測到某些物體的存在，例如空的嬰兒座椅、懸掛的外套等。”

“4D成像雷達系統(tǒng)可以在低光照條件下完美地補充基于攝像頭的監(jiān)控系統(tǒng)。”Vinay MK表示，“60GHz成像雷達系統(tǒng)有足夠的分辨率來探測嬰兒和成人呼吸頻率的差異。結(jié)合攝像頭和成像雷達的數(shù)據(jù)，在低光照條件下可以顯著提高檢測精度?！?br />
“如果嬰兒在被毛毯覆蓋的嬰兒座椅之中，那么只有通過毫米波雷達系統(tǒng)才有可能探測并識別?！盫inay MK說，“在駕駛員和乘客監(jiān)控系統(tǒng)中使用4D成像雷達的一個主要原因是準確檢測停放車輛中的小孩。”

根據(jù)一份美國國家安全委員會報告稱，每年平均有39名15歲以下的小孩在被遺留在車內(nèi)后死于中暑。因此，美國國會于2019年制定了《Hot Cars Act》法案，要求美國交通運輸部（DOT）強制要求所有新車配備兒童存在檢測系統(tǒng)，例如PathPartner開發(fā)的駕駛員和乘客監(jiān)控系統(tǒng)。

為了滿足汽車制造商的處理需求，PathPartner駕駛員和乘客監(jiān)控算法已被移植到NextChip的Apache4上。Apache4是一款用于汽車高級輔助駕駛系統(tǒng)（ADAS）視覺系統(tǒng)的預(yù)處理器。據(jù)Nextchip稱，Apache4包括專用的圖像處理加速器子系統(tǒng)和優(yōu)化的軟件，可以減少多達70%的計算需求。

NextChip預(yù)處理器Apache4

Vinay MK說：“Apache4預(yù)處理器以高度集成的方式提供先進圖像處理。與傳統(tǒng)基于向量的分類器相比，其先進的算法可提供更高的檢測率，使其成為歐洲NCAP大眾市場采用的非常經(jīng)濟實惠的駕駛員和乘客監(jiān)控解決方案?！?br />
據(jù)麥姆斯咨詢此前報道，全球領(lǐng)先的芯片制造商高通（Qualcomm）與PathPartner展開合作，并在2019年CES上展出的概念車中集成了PathPartner駕駛員和乘客監(jiān)控系統(tǒng)，引起了廣泛關(guān)注。今年1月，PathPartner宣布推出基于高通QCS605片上系統(tǒng)（SoC）的PT605模組和智能相機參考設(shè)計套件。

PathPartner駕駛員和乘客監(jiān)控系統(tǒng)是圍繞多個小型卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型與自適應(yīng)機器學習模塊結(jié)合而設(shè)計的。該公司表示，由于采用了這種混合架構(gòu)，4D成像雷達技術(shù)可以利用高通提供的DSP，以非常低的占用空間處理60幀/秒的數(shù)據(jù)。

PathPartner表示，其高性能PT605模組和智能相機參考設(shè)計套件與公司的設(shè)備工程服務(wù)相結(jié)合，還使設(shè)備制造商能夠滿足汽車行業(yè)以外對4D成像雷達日益增長的需求，包括對支持人工智能的攝像頭和物聯(lián)網(wǎng)設(shè)備的需求。

“我們的攝像頭具有近紅外照明，可在不同的照明條件下實現(xiàn)可靠的性能。攝像頭模塊和處理單元通過高端汽車級FAKRA連接器連接，提供安裝靈活性和小外形尺寸攝像頭?！盫inay MK介紹說。

FAKRA（Fachkreis Automobil）是由德國開發(fā)的汽車級連接器的行業(yè)標準，可以在高達6GHz的頻率下運行，并且具有很高的可靠性。這些類型的連接器通常用于連接無線成像和視頻設(shè)備。

Vinay MK繼續(xù)說：“美國硅谷公司Cadence提供的硬件也支持我們的駕駛員和乘客監(jiān)控系統(tǒng)。Cadence是一家高性能DSP和卷積神經(jīng)網(wǎng)絡(luò)（CNN）加速器供應(yīng)商，在汽車處理器方面取得了成功。通過將我們的駕駛員和乘客監(jiān)控算法和模型移植到Cadence處理器上，我們已經(jīng)為汽車原始設(shè)備制造商（OEM）做好了試驗準備?！?br />
Cadence的Tensilica Vision DSP成像產(chǎn)品（PathPartner駕駛員和乘客監(jiān)控系統(tǒng)已經(jīng)采用）旨在運行用于成像和計算視覺的復雜算法，包括目標對象和人臉的識別與跟蹤、低光圖像增強、數(shù)字縮放、手勢識別等。Tensilica系列還為運行AI驅(qū)動的軟件提供出色的性能，這也是PathPartner選擇它的另一個原因。

PathPartner強大的駕駛員和乘客監(jiān)控機器學習算法也在英特爾（Intel）Apollo Lake處理器以及恩智浦（NXP）IMX8x汽車級處理器上進行了應(yīng)用展示。

Vinay MK在去年的一次采訪中對《汽車新聞》雜志說道：“我們的駕駛員和乘客監(jiān)控系統(tǒng)正被部署在印度班加羅爾的卡車和貨車上。由于能夠在1.2GHz四核處理器上移植計算密集型算法，我們得到了來自汽車Tier 1廠商的令人鼓舞的反饋?！?br />
在自動駕駛汽車能夠在沒有人為干預(yù)的情況下安全地駕駛車輛之前（預(yù)計還有很多年），PathPartner等公司正在制定有效的解決方案，以確保車輛處于自動駕駛模式下運行時，監(jiān)控駕駛員行為，同時防止兒童或?qū)櫸餆o意中被遺棄在車里。

根據(jù)Market Insights展望，長期來看，駕駛員和乘客監(jiān)控系統(tǒng)的需求在汽車行業(yè)將大幅增長，特別是如果通過法規(guī)要求所有乘用車都需要安裝駕駛員監(jiān)控系統(tǒng)，例如美國銷售的乘用車都必須配備安全氣囊（駕駛員和乘客都需要）和倒車攝像頭。

PathPartner還與一家領(lǐng)先的汽車Tier 1供應(yīng)商建立了戰(zhàn)略伙伴關(guān)系，該供應(yīng)商的重點是在移動領(lǐng)域開發(fā)先進的視覺系統(tǒng)。PathParter拒絕在現(xiàn)階段透露該公司名稱。不過，Vinay MK證實，兩家公司正在共同開發(fā)一款基于攝像頭和毫米波雷達的駕駛員和乘客監(jiān)控ECU，以支持系統(tǒng)的處理要求。“我們繼續(xù)與汽車Tier 1供應(yīng)商合作，并在適當?shù)臅r候披露他們的名稱?！盫inay MK介紹說，“PathPartner的戰(zhàn)略合作伙伴將在汽車級ECU上集成其乘員監(jiān)控系統(tǒng)（OMS）和駕駛員監(jiān)控系統(tǒng)（DMS）算法。”

AI應(yīng)用：利用邊緣計算代替云計算

PathPartner還使用邊緣計算來處理傳感器數(shù)據(jù)，而不是將數(shù)據(jù)發(fā)送到云服務(wù)進行處理，因為這會增加延遲。對于汽車行業(yè)，邊緣計算可以提供更高的安全級別，并減少對蜂窩網(wǎng)絡(luò)傳輸數(shù)據(jù)的依賴——對于安全性至關(guān)重要的汽車系統(tǒng)而言，這種方法并不總是足夠可靠。

PathPartner營銷、業(yè)務(wù)開發(fā)和銷售副總裁Ramshisor Korada解釋說：“由于對數(shù)據(jù)隱私、通信延遲和不可靠連接的擔憂日益增加，將AI工作負載從云轉(zhuǎn)移到設(shè)備上的情況正在上升?！痹O(shè)備制造商正在擁抱這一改變，并帶來智能物聯(lián)網(wǎng)設(shè)備的下一波創(chuàng)新，例如用于視頻監(jiān)控、儀表板攝像頭、無人機、視頻會議等?！?/p>

當然，駕駛員監(jiān)控系統(tǒng)與現(xiàn)有汽車ADAS集成還面臨著一些挑戰(zhàn)。因為駕駛員監(jiān)控系統(tǒng)需要與汽車的其他控制系統(tǒng)（包括制動和轉(zhuǎn)向系統(tǒng)）以及AI動力感知系統(tǒng)進行一定程度的集成設(shè)計，從而真正實現(xiàn)“人車合一“。

除了開發(fā)駕駛員和乘客監(jiān)控系統(tǒng)，PathPartner還為所有主要的汽車Tier 1供應(yīng)商提供先進的軟件集成、驗證和測試服務(wù)。該公司最近獲得了一家歐洲Tier 1供應(yīng)商的車內(nèi)占用檢測系統(tǒng)的投產(chǎn)訂單。

Vinay MK預(yù)測，汽車行業(yè)的首要重點將是低成本集成駕駛員監(jiān)控系統(tǒng)，它可以處理大多數(shù)監(jiān)控條件。對于汽車制造商來說，需要在性能和成本之間進行權(quán)衡。他還預(yù)測，由于成本的原因，大規(guī)模部署的首款駕駛員監(jiān)控系統(tǒng)甚至可能不支持視線檢測。Vinay MK還表示：“像我們這樣的初創(chuàng)公司專注于先進的功能和復雜的模型，也必須經(jīng)歷很長的孕育期?！?br />

責任編輯：lq