盡管設(shè)計一套能夠在受控環(huán)境中有效執(zhí)行重復(fù)任務(wù)的機器人系統(tǒng)（例如，在裝配線上組裝產(chǎn)品）十分平常，但設(shè)計一種能夠觀察周圍環(huán)境和確定最佳行動方案，同時對意外結(jié)果做出反應(yīng)的機器人卻非常困難。

不過，有兩種工具可以幫助機器人從經(jīng)驗中獲得這些技能：深度學(xué)習(xí)和強化學(xué)習(xí)。前者非常適合處理非結(jié)構(gòu)化的現(xiàn)實世界場景，而后者可以實現(xiàn)更長期的推理，同時展現(xiàn)出更復(fù)雜、更強大的順序決策能力。如果將這兩種技術(shù)結(jié)合，將有可能讓機器人不斷地從經(jīng)驗中學(xué)習(xí)，使它們能夠通過數(shù)據(jù)而非人為設(shè)計來掌握基本的感覺運動技能。

設(shè)計用于機器人學(xué)習(xí)的強化學(xué)習(xí)算法本身提出了一系列挑戰(zhàn)：現(xiàn)實世界的物體具有各種各樣的視覺和物理屬性，接觸力的細微差別都可能會使物體運動難以預(yù)測，并且相關(guān)物體可能會受到遮擋。此外，機器人傳感器本身具有噪聲，這也增加了復(fù)雜性。所有這些因素綜合到一起，使得學(xué)習(xí)一個通用解異常困難，除非訓(xùn)練數(shù)據(jù)足夠多樣化，然而，收集這樣的數(shù)據(jù)又十分耗時。

這就促使人們?nèi)ヌ剿饕环N能夠有效重用過往經(jīng)驗的學(xué)習(xí)算法，類似于我們之前一項關(guān)于抓取的研究，這項研究就受益于大數(shù)據(jù)集。不過，這項研究無法推斷動作的長期后果，而這一點對學(xué)習(xí)如何抓取十分重要。例如，如果多個物體聚集在一起，那么將其中一個分開（稱為“分割”）將使得抓取更容易，即使這樣做與成功抓取并無直接關(guān)聯(lián)。

分割示例

為了提高效率，我們需要采用脫策強化學(xué)習(xí)，這種算法可以從數(shù)小時、數(shù)天或數(shù)周前收集的數(shù)據(jù)中學(xué)習(xí)。為了設(shè)計這樣一種可以利用從歷史互動中獲得的大量不同經(jīng)驗的脫策強化學(xué)習(xí)算法，我們將大規(guī)模分布式優(yōu)化與一個新的擬合深度 Q 學(xué)習(xí)算法（我們稱之為 QT-Opt）相結(jié)合。arXiv 上提供了預(yù)印本。

QT-Opt 是一種分布式 Q 學(xué)習(xí)算法，支持連續(xù)動作空間，非常適合解決機器人問題。為了使用 QT-Opt，我們首先使用已收集的數(shù)據(jù)以完全離線的方式訓(xùn)練模型。此過程不需要運行真正的機器人，因而更易于擴展。然后，我們在真正的機器人上部署并微調(diào)該模型，使用新收集的數(shù)據(jù)進一步訓(xùn)練模型。通過運行 QT-Opt，我們得以積累更多的離線數(shù)據(jù)，這使得我們能夠訓(xùn)練出更好的模型，而這反過來又有利于收集更好的數(shù)據(jù)，從而形成一個良性循環(huán)。

為了將這種方法應(yīng)用于機器人抓取，我們使用了 7 個現(xiàn)實世界的機器人，在 4 個月的時間里，機器人總共運行了 800 個小時。為了引導(dǎo)收集過程，我們首先使用手動設(shè)計的策略，成功率為 15-30%。在表現(xiàn)提升后，數(shù)據(jù)收集轉(zhuǎn)向?qū)W到的模型。策略利用相機圖像并返回手臂和抓手的移動方式。離線數(shù)據(jù)包含對 1000 多種不同物體的抓取。

使用的一些訓(xùn)練物體

通過過去的研究，我們已經(jīng)發(fā)現(xiàn)在機器人之間共享經(jīng)驗可以加快學(xué)習(xí)速度。我們將此訓(xùn)練和數(shù)據(jù)收集過程擴展到 10 個 GPU、7 個機器人和多個 CPU，因此得以收集和處理包含超過 580,000 次抓取嘗試的大型數(shù)據(jù)集。在這個過程的最后，我們成功訓(xùn)練了一種抓取策略，此策略在現(xiàn)實世界機器人上運行并且可以泛化到訓(xùn)練時未見過的各種具有挑戰(zhàn)性的物體。

七個機器人正在收集抓取數(shù)據(jù)

從量化角度來看，在關(guān)于以前未見過物體的 700 次抓取試驗中，QT-Opt 方法的抓取成功率達到 96%。先前基于監(jiān)督式學(xué)習(xí)的抓取方法的成功率為 78%，相比之下，新方法將錯誤率降低了五倍以上。

評估時使用的物體

為了使任務(wù)具有挑戰(zhàn)性，我們增加了物體尺寸、

紋理和形狀的多樣性

值得注意的是，策略展現(xiàn)出了標準機器人抓取系統(tǒng)中少見的各種閉環(huán)、反應(yīng)性行為：

? 當(dāng)面對一組無法一起拾起的聯(lián)鎖塊時，策略先將一個塊與其他塊分開，然后再將它拾起。

? 當(dāng)面對難以抓取的物體時，策略會推算出它應(yīng)該調(diào)整抓手位置并重新抓取，直到抓牢為止。

? 當(dāng)在一堆物體中抓取時，策略會探測不同的物體，直到抓手緊緊握住一個物體時才會將它拾起。

? 當(dāng)我們故意將物體從抓手上弄掉以擾亂機器人時（訓(xùn)練期間未經(jīng)歷過這種情況），它會自動重新調(diào)整抓手位置，進行另一次嘗試。

最重要的是，這些行為都并非人為設(shè)計。這些行為基于 QT-Opt 的自監(jiān)督式訓(xùn)練自動出現(xiàn)，因為它們提高了模型的長期抓取成功率。

學(xué)到的行為示例

在左側(cè)的 GIF 中，策略針對移動的球進行更正

在右側(cè)的 GIF 中，策略在多次抓取嘗試后

成功拾起難以抓握的物體

此外，我們發(fā)現(xiàn) QT-Opt 使用較少的訓(xùn)練數(shù)據(jù)達到了較高的成功率，盡管收斂時間較長。這對機器人技術(shù)來說尤其令人興奮，因為，此領(lǐng)域的瓶頸通常是收集現(xiàn)實機器人數(shù)據(jù)，而不是訓(xùn)練時間。將此策略與其他數(shù)據(jù)效率技術(shù)（例如我們之前關(guān)于抓取領(lǐng)域自適應(yīng)的研究）相結(jié)合，可以在機器人技術(shù)領(lǐng)域開辟一些有趣

總體而言，QT-Opt 算法是一種通用的強化學(xué)習(xí)方法，在現(xiàn)實世界機器人上表現(xiàn)非常出色。除獎勵定義外，QT-Opt 沒有任何特定于機器人抓取的限制。我們認為這是向更通用的機器人學(xué)習(xí)算法邁出的重要一步，并期待看到其他適用的機器人任務(wù)。