對(duì)于動(dòng)物行為研究，特別是運(yùn)動(dòng)模式的分析很大程度上依賴于研究人員的人工觀察和分析。但研究人員近日開發(fā)的新工具有望能夠?yàn)檠芯咳藛T們提供省時(shí)省力的新方法來對(duì)動(dòng)物的行為進(jìn)行持續(xù)的自動(dòng)觀測。

來自哈佛大學(xué)的科學(xué)家與合作伙伴研發(fā)出了基于深度學(xué)習(xí)的無信標(biāo)自動(dòng)追蹤工具，可以在視頻中持續(xù)追蹤動(dòng)物及其身上特征點(diǎn)的運(yùn)動(dòng)，并達(dá)到了人類的精度水平。近日研究發(fā)表在了自然神經(jīng)科學(xué)的雜志上。

在神經(jīng)科學(xué)中，定量的行為觀察對(duì)于很多方面都是至關(guān)重要的。雖然攝像機(jī)為人們提供了一種便捷的手段來對(duì)動(dòng)物進(jìn)行觀察，提取特定行為并進(jìn)行進(jìn)一步分析常常是耗時(shí)耗力的工作。為了定量的監(jiān)控，研究對(duì)象通常會(huì)被打上一定的信標(biāo)來實(shí)現(xiàn)自動(dòng)追蹤，但很多情況下信標(biāo)具有侵入性和缺乏靈活性等缺點(diǎn)。為了解決這些問題，研究人員們利用深度網(wǎng)絡(luò)從視頻中實(shí)現(xiàn)了動(dòng)物行為的無信標(biāo)追蹤，并達(dá)到了人類的精度水平。

通過構(gòu)建深度網(wǎng)絡(luò)和數(shù)據(jù)集，研究人員們成功訓(xùn)練出了一個(gè)可以從視頻中抽取身體特定部分位置的模型。研究人員門分別標(biāo)注了圖像中的ROI區(qū)域和每個(gè)區(qū)域中的關(guān)節(jié)作為輸入特征。神經(jīng)網(wǎng)絡(luò)使用預(yù)訓(xùn)練的ResNet-50最為主體抽取特征，最后通過訓(xùn)練解卷積網(wǎng)絡(luò)來對(duì)于身體位置的預(yù)測。

研究人員表示，這一方法甚至只需要標(biāo)注約200張對(duì)應(yīng)的圖像就可以達(dá)到很好的精度，并且可以將精度控制在幾個(gè)像素的范圍內(nèi)。

利用1080TiGPU，這一工具可以再682*540的圖像上實(shí)現(xiàn)30Hz的速度，并在分辨率更低的204*162像素上達(dá)到了85Hz的速度。

這種方法還可以廣泛用于多種動(dòng)物和場景下。研究人員利用四個(gè)實(shí)驗(yàn)探索了網(wǎng)絡(luò)功能的有效性。

首先在彩色圖像中對(duì)馬兒的身體關(guān)鍵點(diǎn)進(jìn)行了檢測和追蹤。研究顯示網(wǎng)絡(luò)對(duì)于不同顏色、不同視角和速度下的馬都有著較強(qiáng)的追蹤性能。

除此之外，研究人員還將這一方法應(yīng)用于老鼠的步態(tài)研究上，下圖顯示了老鼠在跑輪上運(yùn)動(dòng)的場景。模型被用于從側(cè)面和地面同時(shí)檢測和跟蹤運(yùn)動(dòng)。右圖顯示了模型對(duì)于電動(dòng)魚身體關(guān)鍵點(diǎn)的追蹤?？梢钥吹綗o論是對(duì)不同場景視角還是不同的物種，都可以得到良好的效果。

除了動(dòng)物之外，這一網(wǎng)絡(luò)還可以用于追蹤人類行為及其三維位置。研究人員訓(xùn)練了三個(gè)視角下的追蹤網(wǎng)絡(luò)，并將得到的數(shù)據(jù)通過投影矩陣重構(gòu)目標(biāo)對(duì)象的3D運(yùn)動(dòng)坐標(biāo)，實(shí)現(xiàn)了三維目標(biāo)檢測與跟蹤。

值得一提的是，這一研究團(tuán)隊(duì)來自哈佛大學(xué)Rowland Institute, Adaptive motor control實(shí)驗(yàn)室，長期致力于深入理解神經(jīng)系統(tǒng)的自適應(yīng)運(yùn)動(dòng)控制。

或許這種方法除了用于動(dòng)物行為追蹤外，還可以用于機(jī)器人及其執(zhí)行器的末端追蹤，為抓取、放置的任務(wù)提供額外的信息。如果你想詳細(xì)了解這項(xiàng)研究，請(qǐng)參閱Nature的研究內(nèi)容：

https://www.nature.com/articles/s41593-018-0209-y

作者也發(fā)布了DeepLabCut的代碼，有興趣的小伙伴似乎可以為自家的狗子/貓寫一個(gè)行為追蹤程序，研究它們每天的活動(dòng)規(guī)律呢~代碼地址：

https://github.com/AlexEMG/DeepLabCut

作者在這里給出了詳細(xì)的安裝、配置、使用和標(biāo)注教程：

https://alexemg.github.io/DeepLabCut/docs/demo-guide.html

（代碼主要基于TensorFlow構(gòu)建，包含了分析、測評(píng)工具和對(duì)應(yīng)的文檔。構(gòu)建網(wǎng)絡(luò)的核心代碼位于DeepLabCut/pose-tensorflow/pose_net.py的PoseNet類中。）

實(shí)驗(yàn)室主頁：

https://www.mousemotorlab.org/deeplabcut/