無人潛航器（UUV）是一種水下機器人，在沒有人的情況下運行。這些運載工具的早期使用案例包括深?？碧胶退滤椎慕玫裙ぷ?。然而，由于水的扭曲效應(yīng)，無人潛水器的通信和導(dǎo)航控制較差。因此，研究人員已經(jīng)開始開發(fā)機器學(xué)習(xí)技術(shù)，幫助無人潛航器更好地自主導(dǎo)航。

也許研究人員正在努力解決的最大挑戰(zhàn)是缺乏GPS信號，因為GPS信號無法穿透水面。其他類型的依賴相機的導(dǎo)航技術(shù)也無效，因為水下相機的能見度很低。

研究人員表示，他們的目的之一是最終幫助解決清除累積在船體上的生物的危險工作。這些堆積物，也被稱為生物膜，通過引入入侵物種對環(huán)境構(gòu)成威脅，并通過增加的船舶阻力提高了運輸成本。

在上個月發(fā)表在IEEE Access（https://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=6287639）雜志上的這項研究（ieeexplore.ieee.org/document/10304148）中，來自澳大利亞和法國的研究人員使用了一種稱為深度強化學(xué)習(xí)的機器學(xué)習(xí)方法，幫助無人潛航器在困難條件下更準(zhǔn)確地導(dǎo)航。

在強化學(xué)習(xí)（spectrum.ieee.org/tag/reinforcement-learning）中，UUV模型從執(zhí)行隨機動作開始，然后觀察這些動作的結(jié)果，并將其與目標(biāo)進行比較——在這種情況下，盡可能接近目標(biāo)目的地；加強積極結(jié)果的行動，避免導(dǎo)致不良結(jié)果的行動。

海洋給無人潛航器的導(dǎo)航挑戰(zhàn)增加了另一層復(fù)雜性，強化模型必須學(xué)會克服這些挑戰(zhàn)。洋流很強，可以將潛航器帶到遠離預(yù)定路徑的不可預(yù)測的方向。因此，無人潛水器需要導(dǎo)航，同時還要補償來自電流的干擾。

為了達到最佳效果，研究人員調(diào)整了強化學(xué)習(xí)的長期慣例。這項研究的主要作者、澳大利亞阿德萊德弗林德斯大學(xué)科學(xué)與工程學(xué)院的副研究員Thomas Chaffre表示，他的團隊的出發(fā)點是該領(lǐng)域研究大規(guī)模遷移的一部分。今天，包括谷歌DeepMind在內(nèi)的機器學(xué)習(xí)研究人員Chaffre表示，質(zhì)疑關(guān)于強化學(xué)習(xí)訓(xùn)練過程的長期假設(shè)正變得越來越普遍，他們正在尋找可以顯著提高訓(xùn)練成績的微小變化。

在這種情況下，研究人員專注于改變強化學(xué)習(xí)的記憶緩沖系統(tǒng)，該系統(tǒng)用于存儲過去動作的結(jié)果。存儲在存儲緩沖器中的動作和結(jié)果在整個訓(xùn)練過程中被隨機采樣，以更新模型的參數(shù)。Chaffre說，通常這種采樣是以“獨立且相同分布”的方式進行的，這意味著它用來更新的操作完全是隨機的。

T CHAFFRE/FLINDERS UNIVERSITY

研究人員對訓(xùn)練過程進行了改變，使其從記憶緩沖區(qū)中采樣，其方式更類似于人類大腦的學(xué)習(xí)方式。與其有平等的機會從過去的所有經(jīng)歷中學(xué)習(xí)，不如更多地重視那些帶來巨大積極成果的行動，以及最近發(fā)生的行動。Chaffre說：“當(dāng)你學(xué)習(xí)打網(wǎng)球時，你會更多地關(guān)注最近的經(jīng)歷。隨著你看到進步，你將不在乎開始訓(xùn)練時的表現(xiàn)，因為它不再能體現(xiàn)出任何關(guān)于你當(dāng)前水平的信息?！?/p>

Chaffre說，同樣，當(dāng)強化算法從過去的經(jīng)驗中學(xué)習(xí)時，它應(yīng)該主要集中在最近的行動上，這些行動帶來了巨大的積極收益。

研究人員發(fā)現(xiàn)，當(dāng)使用這種自適應(yīng)內(nèi)存緩沖技術(shù)時，UUV模型可以更快地訓(xùn)練，同時消耗更少的功率。Chaffre說，這兩種改進在部署無人潛航器時都提供了顯著的優(yōu)勢，因為盡管經(jīng)過訓(xùn)練的模型可以隨時使用，但仍需要對其進行微調(diào)。

Chaffre說：“因為我們正在研究水下機器人，使用它們的成本非常高，而且用它們訓(xùn)練強化學(xué)習(xí)算法非常危險?！?因此，他補充道，減少模型微調(diào)的時間可以防止?jié)摵狡鲹p壞，并節(jié)省維修費用。他說，該團隊未來的計劃包括在海洋中的物理無人潛航器上測試新的訓(xùn)練算法。