12 月 20 日，蘋果公司機(jī)器學(xué)習(xí)研究團(tuán)隊(duì)公布了其創(chuàng)新性的生成式人工智能技術(shù)——HUGS，能在短短 30 分鐘內(nèi)分析短視頻，為其分配新的動(dòng)作和視角。

來(lái)自蘋果的研究人員 Anurag Ranjan 稱，HUGS 的全稱為Human Gaussian Splats。借助機(jī)器學(xué)習(xí)及計(jì)算機(jī)視覺(jué)，即使原始輸入數(shù)據(jù)有限，也能生成逼真的人像元素。

據(jù)蘋果透露，盡管神經(jīng)渲染技術(shù)已取得顯著進(jìn)展，但主要應(yīng)用仍限于靜態(tài)場(chǎng)景攝影測(cè)量。而對(duì)于活動(dòng)中的人物，要達(dá)到同樣效果，實(shí)施難度較大。

與此不同的是，HUGS利用3D Gaussian Splatting技術(shù)解決動(dòng)態(tài)人物的難題。這種方法僅需少量主體相關(guān)視頻進(jìn)行訓(xùn)練，通常要求在背景中運(yùn)動(dòng)并展示盡可能多的表面信息給系統(tǒng)。

在部分情況下，系統(tǒng)甚至只需 50 至 100 幀單目視頻作為源輸入，相當(dāng)于 2 至 4 秒長(zhǎng)度的每秒 24 幀視頻即可。

蘋果稱，通過(guò)這套系統(tǒng)，可在半小時(shí)內(nèi)完成靜態(tài)場(chǎng)景和活動(dòng)人類的虛擬再現(xiàn)。這項(xiàng)成果已經(jīng)過(guò)訓(xùn)練驗(yàn)證，能夠在短時(shí)間內(nèi)完成“世界級(jí)的渲染質(zhì)量”動(dòng)畫制作，相比其他同類方法提速高達(dá) 100 倍。