如果自動駕駛汽車和機器人要想安全高效，就需要感知周圍環(huán)境。他們還需要能夠預(yù)測周圍物體的行為——無論是其他機器人、車輛，甚至是人——并規(guī)劃他們的路徑的同時做出相應(yīng)的決定。換句話說，他們需要機器視覺。

傳統(tǒng)上，機器視覺是通過相機和傳感器（包括雷達(dá)、聲納和激光雷達(dá)）的組合來實現(xiàn)的。但機器視覺通常也依賴于熱量。普渡大學(xué)電氣和計算機工程教授Zubin Jacob說：“熱輻射來自所有溫度為非零的物體。樹葉、樹木、植物、建筑物——它們都在發(fā)射熱輻射，但這是不可見的紅外輻射，我們的眼睛和傳統(tǒng)相機看不到?！?由于熱浪不斷散射，紅外相機生成的圖像缺乏材料特異性，導(dǎo)致圖像模糊不清，如“幽靈般”，沒有深度或紋理。

作為“幽靈”圖像的替代方案，Jacob和他在普渡大學(xué)和密歇根州立大學(xué)的同事開發(fā)了一種熱輔助檢測和測距（heat-assisted detection and ranging，HADAR）技術(shù)，該技術(shù)可以解決雜亂的熱信號，以“查看”紋理和深度，從而提高圖像的清晰度和細(xì)節(jié)。在一項概念驗證實驗中，他們證明了夜間的HADAR測距與白天的RGB立體視覺一樣好。

人類在白天或光線充足的環(huán)境中可以看到豐富多樣的顏色、紋理和深度，但即使在昏暗或黑暗的情況下，也有大量的熱光子在周圍反彈。Jacob說，盡管人類看不到它，但這種情況并不限制于機器，所以我們需要開發(fā)新的傳感器和新的算法來利用這些信息。

在他們的實驗中，研究人員選擇了一個沼澤地的戶外空間，遠(yuǎn)離道路和城市照明。他們收集了近100個不同頻率的紅外光譜中的熱圖像。正如RGB圖像中的每個像素都由三個可見頻率編碼（R代表紅色，G代表綠色，B代表藍(lán)色）一樣，實驗中的每個象素都標(biāo)記有三個熱物理屬性，即TeX——溫度（T）、材料指紋或發(fā)射率（e）以及紋理或表面幾何形狀（X）。Jacob說：“人們對T和e有相當(dāng)好的理解，但關(guān)于紋理的關(guān)鍵見解實際上是在X中?！边@三個輸出構(gòu)成了HADAR算法對物體和環(huán)境的物理描述。

HADAR算法根據(jù)估計得到的溫度、發(fā)射率和深度，重建出物體和環(huán)境的紋理、形狀和顏色。紋理是根據(jù)發(fā)射率的差異生成的；形狀是根據(jù)深度的變化生成的；顏色是根據(jù)溫度的范圍生成的。這三個重建結(jié)果構(gòu)成了HADAR算法對物體和環(huán)境的視覺呈現(xiàn)。

最終，HADAR算法能夠從熱圖像中分離出物體和環(huán)境的物理屬性，從而消除幽靈效應(yīng)，提高圖像的清晰度和細(xì)節(jié)。HADAR算法不僅能夠在黑暗中看見物體的輪廓和熱量，還能夠看見物體的溫度、材質(zhì)和紋理，就像在白天一樣。

Jacob補充道，HADAR技術(shù)能夠提供更好的適應(yīng)性，不受光照條件的限制，能夠在黑暗或低能見度的環(huán)境中正常工作。此外，在激光雷達(dá)、聲納或雷達(dá)等主動方法中，如果場景中有很多代理，它們之間可能會有很多串?dāng)_。

Jacob說，HADAR作為一項新技術(shù)，還處于相當(dāng)初級的階段。目前，數(shù)據(jù)收集幾乎需要一分鐘的時間。相比之下，例如，夜間駕駛的自動駕駛汽車需要在幾毫秒內(nèi)對周圍環(huán)境進(jìn)行成像。此外，數(shù)據(jù)收集所需的相機體積龐大、價格昂貴且耗電。所以現(xiàn)階段非常適合科學(xué)演示，但不適合廣泛采用。研究人員目前正在研究這些問題，Jacob預(yù)測，未來幾年的研究將致力于解決這些。

然而，Jacob說，有一些應(yīng)用是可以立即實現(xiàn)的，比如夜間野生動物監(jiān)測。另一個不需要毫秒決策能力的地方是一些醫(yī)學(xué)應(yīng)用，例如測量人體上的溫度梯度。他還表示：“現(xiàn)在最大的挑戰(zhàn)是硬件的改進(jìn)，我們可以將先進(jìn)的算法融入其中?！?他預(yù)測，下一代相機將是高速、緊湊的，可以在室溫下工作，因此需要全新的材料。

審核編輯：彭菁