模仿能力是智能重要的組成部分，人和動物常常通過觀察其他個體來學(xué)習(xí)新的技能。那么我們能不能將這種能力賦予機(jī)器人呢？是否可以像下圖一樣，讓機(jī)器人通過觀察人類的操作來學(xué)會操作新的物體呢？

機(jī)器人在觀察人類行為后學(xué)會了將桃子放到了紅色的碗里

如果擁有這樣的能力，將極大地簡化部署機(jī)器人完成新任務(wù)的過程。我們只需要展示給機(jī)器人需要進(jìn)行的任務(wù)，而無須進(jìn)行遙操作或設(shè)計復(fù)雜的獎勵函數(shù)。很多工作探索了機(jī)器人可以從本身的專業(yè)經(jīng)驗中很好的學(xué)習(xí)，這樣的學(xué)習(xí)方式稱為模仿學(xué)習(xí)。

然而基于視覺技能的模仿學(xué)習(xí)需要大量專業(yè)的示范數(shù)據(jù)。例如利用原始像素輸入來靠近單一固定物體的任務(wù)就需要200次表現(xiàn)良好的示范才能達(dá)到。如果只提供一個示范樣本，要完成這樣的模仿對于機(jī)器人來說十分困難。

除此之外，如果機(jī)器人需要模仿人類的示范的特定操作技能還需要面臨額外的挑戰(zhàn)。除了機(jī)械臂與人類手臂的構(gòu)造差異外，在人類示范和機(jī)器人示范之間建立起正確的對應(yīng)關(guān)系是一件十分困難的事情。這并不僅僅是對運(yùn)動簡單的跟蹤和重映射，其中最主要的部分在于運(yùn)動對環(huán)境中物體的影響，并且我們需要建立一個以這種相互作用為中心的對應(yīng)關(guān)系。

為了使得機(jī)器人可以模仿視頻中人類的技能，可以結(jié)合一系列先驗經(jīng)驗而不是從零開始學(xué)習(xí)。通過結(jié)合先前的經(jīng)驗，機(jī)器人可以迅速學(xué)會對于新物體的操作而在域的移動中保持不變性，就像在觀察了人類的示范后機(jī)器人可以在不同背景和視角下學(xué)會操縱物體。研究人員的目標(biāo)是通過從示范數(shù)據(jù)中學(xué)會學(xué)習(xí)，來實現(xiàn)少樣本的模仿和域不變性。這種被稱為元學(xué)習(xí)的技術(shù)是賦予機(jī)器人通過觀察模仿人類的關(guān)鍵。

One-Shot模仿學(xué)習(xí)

那么如何利用元學(xué)習(xí)來幫助機(jī)器人快速的適應(yīng)不同的物體呢？研究人員們采用結(jié)合元學(xué)習(xí)和模仿學(xué)習(xí)的方式來實現(xiàn)一次模仿學(xué)習(xí)。關(guān)鍵的想法在于給機(jī)器人提供某一特定任務(wù)的當(dāng)個示范，機(jī)器人就能迅速的識別任務(wù)，并在不同的情形下成功解決。早先的一個工作通過從成千上萬個示范中學(xué)會學(xué)習(xí)來實現(xiàn)一次學(xué)習(xí)，并給出了優(yōu)秀的結(jié)果。如果我們希望一個實際的機(jī)器人能夠模仿人類并操縱各種各樣的新物體，就需要開發(fā)一個能從視頻數(shù)據(jù)集的示范中學(xué)會學(xué)習(xí)的系統(tǒng)，而這些數(shù)據(jù)可以在真實環(huán)境中收集。接下來的部分首先討論了通過遙操作收集的單個示范來實現(xiàn)的視覺模仿，隨后展示了這種方法是如何拓展到向人類視頻中學(xué)習(xí)的范疇中去的。

One-Shot視覺模仿學(xué)習(xí)

為了讓機(jī)器人可以從視頻中學(xué)習(xí)，研究人員將模仿學(xué)習(xí)與一種高效的元學(xué)習(xí)算法（未知模型元學(xué)習(xí)，MAML）結(jié)合起來。通過標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)來作為策略表示，在每個時間步長將機(jī)器人輸入的圖像ot和狀態(tài)信息xt（例如關(guān)節(jié)的角度和速度）映射到了機(jī)器人的行動上at（比如夾爪的線速度和角速度）。下圖展示了算法三個主要的步驟。

首先人們對于不同任務(wù)(操作不同物體)收集了大量操作示范構(gòu)建了大型數(shù)據(jù)集；隨后利用MAML學(xué)習(xí)了策略參數(shù)θ的初始狀態(tài)。隨后提供某一特定物體的示范時，我們可以基于這一示范來運(yùn)行梯度下降法來尋找對于這一物體的一般化策略θ’。當(dāng)使用遙操作示范時，策略可以通過比較預(yù)測行動πθ(ot)和專家行為a*t來更新策略：

隨后通過促使策略πθ’的值來匹配同一物體其他示例的行為，實現(xiàn)對于參數(shù)θ的更新。在元訓(xùn)練后，我們就可以利用這一任務(wù)的單一示范來計算梯度步驟，從而讓機(jī)器人去操縱完全沒有見過的物體了。這一步驟稱為元測試。

策略架構(gòu)

由于這一方法沒有為元學(xué)習(xí)和優(yōu)化引入額外的參數(shù)，具有很好的數(shù)據(jù)效率。因此它可以通過觀察遙操作機(jī)器人示例實現(xiàn)多樣化的控制任務(wù)，例如推動和放置等任務(wù)。

將物體放到新的容器中去，左圖是示范右圖是學(xué)習(xí)后的策略。

通過域適應(yīng)性元學(xué)習(xí)，機(jī)器人觀察人類實現(xiàn)一次模仿

上述方法依然是依賴于遙操作機(jī)器人的示范而不是人類的示范。為了達(dá)到從人類示范學(xué)習(xí)的目標(biāo)，研究人員們在上述算法的基礎(chǔ)上設(shè)計了一種域適應(yīng)的一次模仿方法。收集了機(jī)器人和人執(zhí)行不同任務(wù)的示范，隨后通過人類示范來計算策略更新，并用同一任務(wù)的機(jī)器人示范來評價更新后的策略，算法架構(gòu)圖如下所示：

但人類示范只是在執(zhí)行任務(wù)時的視頻而已，并不包含對應(yīng)的行為，無法通過前面的公式計算出損失并更新策略。在這里，研究人員另辟蹊徑的提出了用深度學(xué)習(xí)的方法學(xué)習(xí)出一個幫助策略更新的損失函數(shù)，這個損失函數(shù)無需行動作為標(biāo)記。直接學(xué)習(xí)損失函數(shù)背后的思想來自于，我們可以通過無標(biāo)簽的數(shù)據(jù)得到損失函數(shù)，同時給出正確的梯度用于策略更新，并最終的到一個成功的策略。

策略架構(gòu)

這看起來像是不可能完成的任務(wù)，但要記住的是元訓(xùn)練過程依舊通過梯度步驟后機(jī)器人行為監(jiān)督著策略的更新。學(xué)習(xí)損失函數(shù)可以被理解為通過抽取場景中適宜的視覺線索來更新參數(shù)從而修正策略。所以元訓(xùn)練的行為輸出將會產(chǎn)生正確的行動。研究人員利用Temporal卷積來實現(xiàn)了損失函數(shù)的學(xué)習(xí)，可以抽取視頻示范中的順時信息。

研究人員將這一方法歸為具有域適應(yīng)性的元學(xué)習(xí)算法，這是因為它可以通過其他域的數(shù)據(jù)實現(xiàn)學(xué)習(xí)，而不是機(jī)器人的策略操縱空間。這一方法使得PR2機(jī)器人高效的學(xué)會了如何推動很多不同的物體到目標(biāo)位置，而這些物體在元訓(xùn)練的過程中是從來沒有看到過的。

同時也能通過觀察人類對于每個物體的操縱，實現(xiàn)物體的抓取并將其放置到新的目標(biāo)容器中去：

同時利用不同背景環(huán)境和相機(jī)拍攝的人類示范來驗證算法的有效性， 發(fā)現(xiàn)即使相機(jī)和背景的變化，算法依舊可以保持良好的表現(xiàn)。

未來工作

目前已經(jīng)實現(xiàn)了教會機(jī)器人通過觀看單個視頻就能學(xué)習(xí)操縱新物體，下一步自然是擴(kuò)大這種方法的規(guī)模，不同的任務(wù)對應(yīng)著完全不同的運(yùn)動和目標(biāo)，例如使用不同的工具來進(jìn)行不同的運(yùn)動。通過考慮潛在任務(wù)分布的多樣性，研究人員希望這樣的模型可以適用于更廣泛的任務(wù)，幫助機(jī)器人在新環(huán)境中迅速的建立起策略。同時這里提到的技術(shù)并不僅僅限于機(jī)器人操縱或控制，模仿學(xué)習(xí)和元學(xué)習(xí)可以用于語言和其他序列化決策過程中。通過少數(shù)的示例學(xué)會模仿是一個未來一個十分有趣的研究方向。