谷歌最新AI實(shí)驗(yàn)項(xiàng)目，根據(jù)用戶指揮動(dòng)作實(shí)時(shí)生成交響樂，圓你一個(gè)指揮家的夢(mèng)！只需一個(gè)攝像頭，瀏覽器內(nèi)即可運(yùn)行，快來試試吧！

如果你是一位古典樂發(fā)燒友，而且有做樂團(tuán)指揮的夢(mèng)想，聽見古典樂就走不動(dòng)道，就算沒有樂隊(duì)，也能自己對(duì)著空氣手舞足蹈指揮一番，那么恭喜你，谷歌最新的人工智能實(shí)驗(yàn)項(xiàng)目簡(jiǎn)直就是為你量身定制的。而且，不用擔(dān)心旁邊有人對(duì)你指手畫腳。

這個(gè)項(xiàng)目名為“半導(dǎo)體”，其中融合了谷歌過去一系列機(jī)器學(xué)習(xí)實(shí)驗(yàn)中的最新成果。包括AIDuet（邀請(qǐng)用戶在瀏覽器中播放虛擬鋼琴演奏，并提供虛擬伴奏），以及AutoDraw（可以解釋用戶繪制的粗糙涂鴉是什么，并將這些畫作轉(zhuǎn)變成為整潔的剪貼畫）。

該項(xiàng)目可以跟蹤用戶的動(dòng)作，就像用戶在真正的管弦樂隊(duì)前揮舞雙手一樣，并根據(jù)對(duì)用戶動(dòng)作的分析結(jié)果，實(shí)時(shí)生成一段交響樂。

想試試嗎？只需在谷歌瀏覽器中啟動(dòng)“半導(dǎo)體”，允許其訪問網(wǎng)絡(luò)攝像頭權(quán)限，然后面向攝像頭后退一步，直到你的手臂位于屏幕內(nèi)的框架中，就可以開始指揮自己的“樂隊(duì)”了。不一定非要使用傳統(tǒng)的指揮手勢(shì)，本項(xiàng)目會(huì)提供建議提示，幫助你一路順利完成指揮。

全程無需指揮棒隨意放飛自我

本項(xiàng)目背后的核心技術(shù)是PoseNet，這是一種面向姿勢(shì)估計(jì)的機(jī)器學(xué)習(xí)模型，可以在瀏覽器中對(duì)人的姿勢(shì)和動(dòng)作進(jìn)行分析和估計(jì)。它無需任何專門的硬件或軟件，即可檢測(cè)到圖像和視頻中的人物形象。

最重要的是，因?yàn)樗刑幚矶荚跒g覽器中進(jìn)行，所以無需向Google或其他任何人發(fā)送任何數(shù)據(jù)，因此你可以完全自娛自樂，無需擔(dān)心由于數(shù)據(jù)泄露引發(fā)的一些不必要的尷尬。

這個(gè)項(xiàng)目可讓用戶通過瀏覽器管理自己的管弦樂隊(duì)。你可以通過移動(dòng)手臂，來改變交響樂的速度、音量和樂器種類。該項(xiàng)目使用PoseNet，這是一個(gè)可在瀏覽器中使用的機(jī)器學(xué)習(xí)庫，通過網(wǎng)絡(luò)攝像頭捕捉動(dòng)作。

PoseNet使用來自現(xiàn)場(chǎng)樂器演奏時(shí)錄制的數(shù)百個(gè)微小音頻文件，算法會(huì)根據(jù)捕捉到的動(dòng)作信息播放這些音頻。

關(guān)于PoseNet和姿勢(shì)估計(jì)

姿勢(shì)估計(jì)指的是檢測(cè)圖像和視頻中的人物形象的計(jì)算機(jī)視覺技術(shù)，比如可以確定某人的肘部出現(xiàn)在圖像中的位置。需要明確的是，這項(xiàng)技術(shù)無法識(shí)別圖像中的人物身份。該算法僅僅是估計(jì)關(guān)鍵身體的關(guān)節(jié)在圖像中的相對(duì)位置。

姿勢(shì)估計(jì)有許多用途，比如用于基于身體反應(yīng)的交互式裝置，以及增強(qiáng)現(xiàn)實(shí)設(shè)備、動(dòng)畫制作、健身等用途。過去，雖然許多的姿勢(shì)檢測(cè)系統(tǒng)是開源的，但都需要專門的硬件或攝像頭，以及相當(dāng)繁復(fù)的系統(tǒng)設(shè)置。

由于TensorFlow.js上的PoseNet在可瀏覽器中運(yùn)行，只要有網(wǎng)絡(luò)攝像頭，任何人都能在瀏覽器中體驗(yàn)這項(xiàng)技術(shù)。目前該模型已經(jīng)開源，Javascript的開發(fā)人員只需幾行代碼即可使用。更重要的是，這實(shí)際上可以更好地保護(hù)用戶的隱私。