計算機(jī)圖形學(xué)是支持各種影視特效、三維動畫影片、計算機(jī)游戲、虛擬現(xiàn)實以及大家手機(jī)上各種照片視頻美化特效背后的技術(shù)基礎(chǔ)，在本文中，微軟亞洲研究院網(wǎng)絡(luò)圖形組深入解釋了圖形學(xué)的現(xiàn)狀、發(fā)展和未來。

談及“計算機(jī)圖形學(xué)”，可能很多人會覺得很有距離感，或者和計算機(jī)視覺、圖像處理等學(xué)科混淆。但是，如果告訴大家圖形學(xué)技術(shù)是支持各種影視特效、三維動畫影片、計算機(jī)游戲、虛擬現(xiàn)實以及大家手機(jī)上各種照片視頻美化特效背后的技術(shù)基礎(chǔ)，相信大家都不會再覺得陌生。

在計算機(jī)誕生后，如何在計算機(jī)中有效地表達(dá)、處理以及顯示三維信息，很快變成了計算機(jī)應(yīng)用研究中的一個重要問題。針對這一需求，計算機(jī)圖形學(xué)在二十世紀(jì)六十年代應(yīng)運(yùn)而生。在過去的幾十年中，計算機(jī)圖形學(xué)得到了長足的發(fā)展，并深深地影響了很多產(chǎn)業(yè)的發(fā)展和人們的生活、工作和娛樂方式。

在硬件上，圖形學(xué)的發(fā)展催生了專用圖形處理器GPU(graphics processing unit)的產(chǎn)生與普及。在軟件上，圖形學(xué)的基本繪制流水線已成為操作系統(tǒng)的一部分，為各種計算機(jī)平臺提供顯示和圖形處理。應(yīng)用上，圖形學(xué)催生了影視特效、三維動畫影片、數(shù)據(jù)可視化、計算機(jī)游戲、虛擬現(xiàn)實、計算機(jī)輔助設(shè)計和制造等一系列產(chǎn)業(yè)，并為這些產(chǎn)業(yè)的發(fā)展提供了核心技術(shù)和算法支持。

作為一個計算機(jī)應(yīng)用學(xué)科，計算機(jī)圖形學(xué)的內(nèi)涵和外延在過去幾十年里也在不斷地演進(jìn)和擴(kuò)展。如果我們回顧計算機(jī)圖形學(xué)年會ACMSIGGRAPH上過去十幾年發(fā)表的論文，一方面會驚嘆其中紛雜精彩的研究題目和每篇文章作者的奇思妙想，另一方面也難免感到有些迷失，似乎圖形學(xué)僅僅是在不斷追求新奇和炫目的視覺效果。這是在一個快速發(fā)展的應(yīng)用學(xué)科中很多剛?cè)腴T的學(xué)者都會有的困惑。

圖形學(xué)研究的核心是什么？推動圖形學(xué)發(fā)展的動力是什么？未來，隨著計算機(jī)圖形學(xué)的進(jìn)一步發(fā)展，哪些應(yīng)用場景將呼之欲出？伴隨著這些新的應(yīng)用場景、需求的出現(xiàn)，我們面臨的技術(shù)挑戰(zhàn)又是怎樣的？在這篇文章中，我們試著對圖形學(xué)的現(xiàn)狀、發(fā)展和未來做一些思考，并嘗試一一回答這些問題。

計算機(jī)圖形學(xué)研究與應(yīng)用現(xiàn)狀

圖形學(xué)的核心科學(xué)問題是在計算機(jī)中有效的表達(dá)和處理三維世界的各種屬性。圖形學(xué)所處理的三維信息既包括物理真實世界中的三維信息，也包含我們?nèi)祟惔竽X通過想象產(chǎn)生的虛擬的三維信息。計算機(jī)圖形作為一個中介，提供了這兩個世界在計算機(jī)中的一個共同的表達(dá)和信息交流渠道。

在計算機(jī)圖形學(xué)誕生之前，物理學(xué)家和數(shù)學(xué)家已經(jīng)對真實三維世界進(jìn)行了長期的研究，把我們觀察到的世界有效的解構(gòu)為核心的一些物理量和他們之間相互作用的規(guī)律。如圖1所示，傳統(tǒng)的圖形學(xué)受物理學(xué)和數(shù)學(xué)啟發(fā)，將三維對象分解為幾何、表觀、行為或者動態(tài)三種屬性。其中幾何描述三維對象的幾何形狀；表觀描述三維對象的材料光照屬性以及材料如何和光相互作用；行為則表達(dá)了一個三維對象的動態(tài)特性從而決定了對象的運(yùn)動和其他物體的交互行為。

在這個基礎(chǔ)上，針對不同對象特性和應(yīng)用要求的不同，圖形學(xué)研究中具體的三維對象又可以大致分為物體、人（包括類人的角色character）以及環(huán)境三部分。

針對這些三維對象的不同三維信息（幾何、表觀、行為），我們把圖形學(xué)的研究方向和技術(shù)也可以大致分為三個大類：

一是獲取和建模。主要研究如何有效地構(gòu)建、編輯、處理不同的三維信息在計算機(jī)中的表達(dá)，以及如何從真實世界中有效地獲取相應(yīng)的三維信息。這既包括三維幾何建模和幾何處理這一研究方向，也包含材質(zhì)和光照建模、人體建模、動作捕捉這些研究課題。

二是理解和認(rèn)知。主要研究如何識別、分析并抽取三維信息中對應(yīng)的語義和結(jié)構(gòu)信息。這個方向有很多圖形學(xué)和計算機(jī)視覺共同感興趣的研究課題，如三維物體識別、檢索、場景識別、分割以及人體姿態(tài)識別跟蹤、人臉表情識別跟蹤等。

三是模擬和交互。主要研究如何處理和模擬不同三維對象之間的相互作用和交互過程。這既包含流體模擬和物理仿真，也包含繪制、人體動畫、人臉動畫等方面的研究。

在應(yīng)用層面，圖1中最外環(huán)黑色字展示了計算機(jī)圖形學(xué)的經(jīng)典應(yīng)用場景，圖形學(xué)的早期發(fā)展來源于使用計算機(jī)設(shè)計真實世界產(chǎn)品的需求，如汽車外形。因此，計算機(jī)輔助設(shè)計和制造成為了計算機(jī)圖形學(xué)在真實世界的核心應(yīng)用場景。隨著圖形學(xué)的發(fā)展，創(chuàng)建虛擬場景實現(xiàn)人類的想象，成為了圖形學(xué)在虛擬世界的核心應(yīng)用場景，產(chǎn)生了游戲、影視特效等應(yīng)用場景。隨著相機(jī)的普及，圖片和視頻的編輯也成為圖形學(xué)中一個重要的橫跨虛擬世界和真實世界的重要應(yīng)用。

有了上面的”洋蔥“結(jié)構(gòu)，我們就可以對每一個圖形學(xué)論文或者研究熱點(diǎn)，通過其研究對象、三維屬性和所屬技術(shù)對其進(jìn)行歸類，比如繪制（Rendering）算法的研究是對場景的表觀屬性進(jìn)行模擬和交互的研究：算法通過研究光與環(huán)境的交互作用，生成真實感的圖像。

對計算機(jī)圖形學(xué)發(fā)展模式的回顧和思考

回顧和思考過去幾十年來圖形學(xué)的發(fā)展，我們發(fā)現(xiàn)圖形學(xué)研究的核心對象和科學(xué)問題并沒有發(fā)生根本性的變化。但是技術(shù)和三維信息的表達(dá)卻在不斷的發(fā)展更新。而這些技術(shù)的發(fā)展往往發(fā)端于新的硬件設(shè)備的出現(xiàn)和普及。

如圖2所示，新的硬件設(shè)備的出現(xiàn)一方面往往引發(fā)了新的應(yīng)用需求，或使得某個應(yīng)用的技術(shù)成本急劇的下降。另一方面帶來了新的數(shù)據(jù)和技術(shù)問題，從而引發(fā)了新的研究方向和技術(shù)，推動了對圖形對象表達(dá)的更新和研究方法的更新。而這些技術(shù)的發(fā)展又反過來進(jìn)一步推動了硬件的發(fā)展和應(yīng)用的普及，從而帶動整個領(lǐng)域的快速迭代發(fā)展。光柵化圖形顯示技術(shù)的出現(xiàn)，GPU圖形學(xué)流水線的提出，可編程GPU的出現(xiàn)，三維掃描儀的出現(xiàn)，圖像采集設(shè)備的出現(xiàn)和普及，是過去幾十年圖形學(xué)發(fā)展幾次浪潮的背后緣起。

這里我們以基于圖像的繪制和光場表達(dá)的出現(xiàn)為例對上述的發(fā)展模式做一個分析。傳統(tǒng)圖形學(xué)中，所有的研究對象和屬性基本是基于物理表達(dá)。在這一表達(dá)下，幾何和物理過程成為了各個研究方向的基礎(chǔ)。

從20世紀(jì)后期開始，隨著圖像捕捉設(shè)備的快速發(fā)展，人們有機(jī)會對真實世界進(jìn)行大量的圖像采集。這些大量的圖像一方面需要研究者研發(fā)有效的圖像編輯，分析和解構(gòu)技術(shù)。另一方面，也使得研究者開始探索是否可以拋開背后的物理機(jī)制，直接基于三維世界的這些觀察建立新的表達(dá)。由此催生了基于全光函數(shù)的表達(dá)和基于圖像的繪制技術(shù)。

這里，全光函數(shù)是一個高維函數(shù)，記錄了在一個三維場景的任意一點(diǎn)（x,y,z）沿任給方向(θ,Φ)，在某一時間t,在每一波長λ上的光強(qiáng)。在真實世界中，雖然每種我們可以觀察到的視覺現(xiàn)象都可以解構(gòu)為以上的三維基本屬性及其相互作用，但是我們的人眼和圖像傳感器可以觀測到的卻是光線，即全光函數(shù)（PlenopticFunction）（x,y,z,θ,Φ,t,λ）的一個采樣。

圖像的表達(dá)和繪制技術(shù)的進(jìn)步，催生了計算攝像學(xué)的發(fā)展，反過來促進(jìn)了新的攝像設(shè)備的誕生和發(fā)展，并進(jìn)一步促進(jìn)了圖形學(xué)中對全光表達(dá)函數(shù)的采樣與重構(gòu)、分析與編輯、認(rèn)知與理解三個方向的研究。這一迭代發(fā)展過程，從根本上將三維信息的表達(dá)由基于物理的表達(dá)推廣到新的基于觀測的表達(dá),從而拓展了研究方法，并將圖形學(xué)的研究領(lǐng)域從傳統(tǒng)三維幾何擴(kuò)展到了圖像和視頻，并且和計算機(jī)視覺、圖像和視頻處理、光學(xué)成像等學(xué)科產(chǎn)生了新的交叉。

計算機(jī)圖形學(xué)的未來：設(shè)備和硬件

展望未來，我們認(rèn)為，上述圖形學(xué)發(fā)展的模式還會繼續(xù)。硬件的發(fā)展和革新，會不斷促進(jìn)了新的圖形技術(shù)和應(yīng)用產(chǎn)生和迭代發(fā)展。在這個過程中，圖形學(xué)也在不斷地結(jié)合計算機(jī)視覺、光學(xué)、信號處理與機(jī)器學(xué)習(xí)等學(xué)科的最新研究成果，來解決圖形學(xué)中的研究問題。下面，我們就從各個層面對計算機(jī)圖形學(xué)的未來進(jìn)行一些大膽的展望。

在硬件設(shè)備方面，我們認(rèn)為下面的這些硬件會迎來新的發(fā)展并帶來圖形學(xué)技術(shù)和應(yīng)用的革命性進(jìn)展。

三維顯示。提供高分辨率，高動態(tài)范圍的全三維顯示。包括近眼的光場顯示設(shè)備，或者多焦平面顯示設(shè)備?；蛘哌h(yuǎn)場的全沉浸式的光場顯示設(shè)備。

深度相機(jī)。提供和現(xiàn)有的彩色相機(jī)相匹配的高分辨率，高幀率，低功耗，低噪聲的深度相機(jī)。

多自由度機(jī)械手和類人軟體機(jī)器人裝置。提供低成本，高精度，編程可控的多自由度機(jī)械手以及具有類人外形的軟體機(jī)器人。

三維打印機(jī)。提供同時支持多種打印材料，高精度，低價格，快速的三維打印。

IOT與傳感器。提供小型、省電、低成本的能測量真實世界各種物理參數(shù)的傳感器與實時的數(shù)據(jù)收集。

力學(xué)捕捉與反饋設(shè)備。提供精確的，具有高空間分辨率和力分辨率的觸覺輸入輸出。

計算機(jī)圖形學(xué)的未來：應(yīng)用場景

隨著上述硬件設(shè)備的發(fā)展和普及，以及計算機(jī)視覺和機(jī)器學(xué)習(xí)技術(shù)的進(jìn)步，圖形學(xué)的應(yīng)用場景將得到更大的擴(kuò)展。如圖1黃色高亮部分所示，面向真實世界，機(jī)器人和三維打印將成為新的應(yīng)用場景。面向虛擬世界、虛擬現(xiàn)實，混合可視媒體將成為新興的應(yīng)用場景，帶給人們更好的娛樂體驗，釋放人類的想象力。在真實世界和虛擬世界之間，增強(qiáng)現(xiàn)實將虛擬信息融合進(jìn)真實世界，并增強(qiáng)人類在真實世界的體驗；數(shù)字化孿生則產(chǎn)生真實世界在虛擬世界的鏡像，方便我們更好地管理規(guī)劃真實世界。下面，我們將討論每個應(yīng)用場景，和它們對相關(guān)圖形學(xué)技術(shù)的需求。

機(jī)器人

隨著機(jī)械硬件，傳感器設(shè)備以及人工智能技術(shù)的進(jìn)步，多用途的機(jī)器人將逐漸被應(yīng)用到不同的真實世界場景中，自動化或半自動化地幫助人類完成各種任務(wù)。自動駕駛可以被認(rèn)為是這一場景中一個應(yīng)用。機(jī)器人為了在不斷變化的三維場景中完成給定任務(wù)，不僅需要實時重建不斷變化的三維場景的幾何，還需要識別真實場景中的物體的類別和物理特性，從而預(yù)測物體的運(yùn)動并決定自己的運(yùn)動。同時，機(jī)器人自身也需要實時的動態(tài)模擬技術(shù)來準(zhǔn)確地規(guī)劃和預(yù)測自己的運(yùn)動，和環(huán)境中物體進(jìn)行交互，從而最終完成任務(wù)。

三維打印

三維打印硬件的發(fā)展使得生產(chǎn)復(fù)雜幾何形狀和不同幾何形狀的成本顯著下降。和傳統(tǒng)的減材制造不同，三維打印可以精確地控制三維形體中每個體素的材質(zhì)構(gòu)成，從而可以產(chǎn)生更為豐富的設(shè)計和功能。為了支持三維打印，圖形學(xué)技術(shù)需要將設(shè)計與物理模擬更好地結(jié)合在一起，提供一體化的端到端解決方案。通過高效的計算模擬和逆向優(yōu)化，幫助設(shè)計師和制造者快速地設(shè)計產(chǎn)品的三維形狀和內(nèi)部材質(zhì)分布，從而達(dá)到所需要的功能。

虛擬現(xiàn)實

虛擬現(xiàn)實技術(shù)作為一類新的媒體，提供了全新的沉浸式體驗，在教育、游戲等方面具有重要的應(yīng)用。為了達(dá)到更好的虛擬現(xiàn)實體驗，我們不僅需要圖形學(xué)渲染技術(shù)的進(jìn)步，也需要更好的物理模擬技術(shù)和交互技術(shù)，提供視覺外其他物理特性，如觸覺和聽覺的建模和實時渲染。更為根本的是，如何更加快速地生成高質(zhì)量的三維虛擬內(nèi)容，以及如何在虛擬環(huán)境中和不同的虛擬內(nèi)容進(jìn)行有效的交互，是虛擬現(xiàn)實應(yīng)用得以成功和普及的關(guān)鍵。

增強(qiáng)現(xiàn)實

增強(qiáng)現(xiàn)實和混合現(xiàn)實系統(tǒng)通過將虛擬三維內(nèi)容疊加在真實場景中，從而實現(xiàn)了虛擬信息和真實世界的融合，提高了人們在真實世界的工作效率，提供了個性化的環(huán)境和更好的生活體驗。某種程度上，可以將增強(qiáng)現(xiàn)實理解為新一代的精確GPS定位系統(tǒng)。它可以提供在場景中的實時精確三維定位和實時的三維地圖構(gòu)建服務(wù)。為了實現(xiàn)這一目標(biāo)，三維場景的實時捕捉建模（包括幾何、表觀、物理特性和行為），分析和理解將成為這一應(yīng)用場景背后的核心技術(shù)。

數(shù)字化孿生

和增強(qiáng)現(xiàn)實將虛擬信息疊加在真實世界相反，數(shù)字化孿生嘗試建立真實世界在計算機(jī)中的虛擬鏡像，并實時地記錄預(yù)測真實世界的所有變化。結(jié)合IoT和傳感器技術(shù)的發(fā)展，數(shù)字化孿生技術(shù)將提供真實環(huán)境的完整數(shù)字化，從而實現(xiàn)對真實世界的高效信息分析和控制。同時，數(shù)字化孿生為將為機(jī)器學(xué)習(xí)技術(shù)提供更多的數(shù)據(jù)和訓(xùn)練環(huán)境。為實現(xiàn)這一目標(biāo)，我們需要研究更加有效的三維建模和捕捉技術(shù)，以及實時的物理模擬技術(shù)。

計算機(jī)圖形學(xué)的未來：技術(shù)挑戰(zhàn)

上文中，我們看到了未來計算機(jī)圖形學(xué)的應(yīng)用場景，并討論了每個應(yīng)用場景所需要的關(guān)鍵技術(shù)。這些需求也為圖形學(xué)的發(fā)展提出了一系列的研究問題與挑戰(zhàn)：

高效高質(zhì)量的三維內(nèi)容創(chuàng)作系統(tǒng)

雖然已有的圖形學(xué)算法和系統(tǒng)可以讓藝術(shù)家創(chuàng)作出具有高度真實感的虛擬環(huán)境和栩栩如生的人物及其動態(tài)，這一過程仍然需要大量時間、專業(yè)技巧以及昂貴復(fù)雜的設(shè)備。發(fā)展高效高質(zhì)量的三維內(nèi)容生成算法和創(chuàng)作系統(tǒng)是圖形學(xué)研究中一個永恒的任務(wù)，也是虛擬現(xiàn)實、數(shù)字化孿生以及新一代的混合媒體等應(yīng)用場景得以實現(xiàn)的關(guān)鍵技術(shù)。

為了實現(xiàn)這個目標(biāo)，我們需要在以下三個方面的研究取得突破：一是研發(fā)新一代的捕捉硬件系統(tǒng)和算法，使得普通用戶越來越容易從真實世界中快速地捕捉所需要的三維內(nèi)容；二是利用三維內(nèi)容屬性的本征屬性，從用戶的少量輸入如草圖、照片、視頻中構(gòu)建符合用戶需求的三維內(nèi)容；三是利用機(jī)器學(xué)習(xí)技術(shù)，如對抗神經(jīng)網(wǎng)絡(luò)（GAN），直接從已有的大量數(shù)據(jù)中生成新的三維內(nèi)容。

三維世界的實時理解與分析

實時地對我們所處的三維世界進(jìn)行理解，識別出場景中物體和人，推斷物體和人之間的空間關(guān)系與約束，以及人的動作，是增強(qiáng)現(xiàn)實和機(jī)器人應(yīng)用場景中的核心技術(shù)。

在計算機(jī)視覺領(lǐng)域，由于大量標(biāo)注數(shù)據(jù)的出現(xiàn)和深度學(xué)習(xí)技術(shù)的發(fā)展，圖像和視頻的理解與分析工作取得了飛速的發(fā)展。但是三維世界的理解和分析工作仍舊處于起始階段。

一方面，三維內(nèi)容由于獲取困難，可使用的標(biāo)注數(shù)據(jù)少，數(shù)據(jù)噪聲大。另一方面，三維數(shù)據(jù)表達(dá)多樣、維度更高。這些特點(diǎn)也對三維世界的分析理解算法的實時性、魯棒性提出了更大的挑戰(zhàn)。如何研發(fā)適合三維內(nèi)容的通用表達(dá)和機(jī)器學(xué)習(xí)算法，結(jié)合已有的圖片和視頻信息進(jìn)行三維世界的理解和分析也是這一領(lǐng)域未來研究的重點(diǎn)。

大規(guī)模可擴(kuò)展的實時模擬技術(shù)

在真實世界中，不同物體的運(yùn)動和相互作用構(gòu)成了世界復(fù)雜的動態(tài)。而在人類社會中，人的行為和交互則更為復(fù)雜。模擬這些復(fù)雜的動態(tài)和交互是圖形學(xué)中一個重要任務(wù)，也是三維打印、機(jī)器人、數(shù)字化孿生應(yīng)用背后的重要技術(shù)支撐?，F(xiàn)有的圖形學(xué)技術(shù)發(fā)展了一系列快速的技術(shù)來模擬環(huán)境、物體和人的運(yùn)動和復(fù)雜交互。然而，這些算法仍然存在復(fù)雜性高、計算不穩(wěn)定、收斂慢的問題。尋找適用于不同場景的更為通用的模擬算法，發(fā)展快速數(shù)值解法，將深度學(xué)習(xí)技術(shù)用來加速優(yōu)化求解，以及利用增強(qiáng)學(xué)習(xí)技術(shù)進(jìn)行運(yùn)動的規(guī)劃都是這一領(lǐng)域下一階段的研究重點(diǎn)。

人機(jī)交互與圖形學(xué)的深度結(jié)合

隨著新型傳感器、穿戴設(shè)備、VR/AR/MR設(shè)備的迅猛發(fā)展，人們有著更多的方式與機(jī)器打交道。這些新的輸入輸出方式也為圖形學(xué)研究帶來新的挑戰(zhàn)。如何使用多元異構(gòu)的數(shù)字輸入信息來指導(dǎo)生成符合用戶期望的三維影像與世界，如何針對不同設(shè)備設(shè)計便捷的輸入方式與交互手段，如何協(xié)同多用戶的操作并實時提供數(shù)字上和物理上的真實反饋、如何動態(tài)調(diào)整已有算法以適配用戶的不斷更新的個性化要求等問題，都值得圖形學(xué)研究者與從業(yè)者積極探討與深入研究。

計算機(jī)圖形學(xué)的未來：研究趨勢

通過上述內(nèi)容，我們可以很容易地看到，每個新的圖形學(xué)應(yīng)用場景都不可能由單一的一個圖形學(xué)技術(shù)來解決。為此，我們不僅需要在每個研究方向上進(jìn)一步努力，更需要借鑒最新的機(jī)器學(xué)習(xí)技術(shù)和計算機(jī)視覺技術(shù)，以及本領(lǐng)域的其他研究方向的技術(shù)和算法，才能最終解決問題。

從基于物理和觀察的表達(dá)到基于學(xué)習(xí)的本征表達(dá)

現(xiàn)有的圖形學(xué)可以對單個三維對象的三維屬性進(jìn)行有效的表達(dá)和處理。但是對于所有的三維對象構(gòu)成的三維屬性空間，例如所有特定人造物體（椅子）的三維形狀空間,所有真實世界表面材質(zhì)的空間，或一個場景中所有光照傳輸路徑的空間，我們?nèi)匀蝗狈τ行У难芯亢捅磉_(dá)。隨著數(shù)據(jù)的增多和機(jī)器學(xué)習(xí)算法的應(yīng)用，這方面的研究慢慢成為可能。這些研究會導(dǎo)致三維信息新的表達(dá)形式的出現(xiàn)，即基于機(jī)器學(xué)習(xí)的三維形狀、材質(zhì)、行為等屬性空間的本征表達(dá)。這一表達(dá)會與傳統(tǒng)的基于物理的表達(dá)與基于觀測的表達(dá)共存。這一研究將成為圖形學(xué)的一個基礎(chǔ)理論問題，并對我們研發(fā)高效的三維內(nèi)容建模、模擬和識別理解算法都具有極為重要的意義。基于這一全新的表達(dá)，在圖形學(xué)研究中，如何有效的結(jié)合這一全新的表達(dá)和已有的表達(dá)，如何形成不同表達(dá)間的映射與轉(zhuǎn)換，也會成為一個重要的研究問題。

在技術(shù)層，基于這一新的表達(dá)，機(jī)器學(xué)習(xí)技術(shù)將利用三維數(shù)據(jù)的本征屬性而不是物理屬性來解決三維內(nèi)容捕捉、生成、處理和模擬問題。如何將機(jī)器學(xué)習(xí)技術(shù)有效地用于高維的三維圖形數(shù)據(jù)，結(jié)合用戶的交互輸入，是目前研究的熱點(diǎn)。進(jìn)一步將原有基于物理的方法與機(jī)器學(xué)習(xí)的方法有效結(jié)合，充分利用兩者的優(yōu)勢，也是圖形學(xué)研究中一個廣受關(guān)注和需要解決的重要問題。

從屬性的單一表達(dá)到屬性的統(tǒng)一表達(dá)與融合

現(xiàn)有的圖形學(xué)對不同的三維屬性（形狀、表觀、動態(tài)）具有各自單獨(dú)的表達(dá)和不同的處理方法。然而，一個三維對象（如物體）的表觀、形狀和行為并不是任意組合的，屬性之間也具有一定的約束和相關(guān)性。比如，一個木制的椅子由于材質(zhì)的限制，其椅腿的粗細(xì)和細(xì)節(jié)不可能是任意的。而它的表觀、重量和可能的運(yùn)動特性也與木頭材質(zhì)屬性緊密相關(guān)。如何得到所有三維屬性更為簡潔一致的表達(dá)是圖形學(xué)研究中的一個基礎(chǔ)問題。

在技術(shù)和應(yīng)用層面，針對每個特定的應(yīng)用和問題我們研發(fā)了可用的算法和解決方案。然而，這些算法或工具集是彼此孤立的。在目前的實際應(yīng)用中，我們需要具有領(lǐng)域知識的人將這些算法放在一起，輔以大量的人工和反復(fù)使用，調(diào)整修改每個工具的結(jié)果，反復(fù)迭代來達(dá)到最終的目標(biāo)。舉例來說，為了設(shè)計一個像章魚爪子的軟體變形機(jī)械手，設(shè)計者可能需要先用造型軟件設(shè)計機(jī)器手外形，然后運(yùn)行仿真模擬軟件計算力學(xué)特性。設(shè)計好后，再運(yùn)行三維打印軟件進(jìn)行制造。制造好以后，進(jìn)行實際測試。由于每個模塊不知道最終的目標(biāo)，由此帶來的誤差需要人工反復(fù)修改并重復(fù)這一過程。

為此，我們需要將不同的技術(shù)方案，如幾何設(shè)計、仿真模擬、三維打印等有機(jī)地集成到一起，將每一步的約束引入到其他算法中，并允許所有的算法在統(tǒng)一的逆向優(yōu)化反饋框架下進(jìn)行自動迭代，快速地生成滿足設(shè)計要求的結(jié)果。在最近幾年，越來越多的研究嘗試將不同的技術(shù)融合在一起，形成一個端到端的解決方案，這也成為了圖形學(xué)研究的一個趨勢。

從基礎(chǔ)工具集到智能系統(tǒng)的演進(jìn)

圖形學(xué)技術(shù)的一個重要目標(biāo)是將用戶的抽象設(shè)計意圖變成具體的三維對象。設(shè)計的最終目的是滿足一定的物理功能或故事情節(jié)的視覺展現(xiàn)。在功能和情節(jié)的約束下，最終得到美觀、成本合理的物理設(shè)計和視覺作品。目前，針對每個環(huán)節(jié)，已有的圖形學(xué)技術(shù)實現(xiàn)了基本的工具，可以幫助用戶完成形狀、表觀、動態(tài)等底層三維屬性特性的生成、編輯，以及物理特性的模擬。然而，由于圖形學(xué)的屬性和對象表達(dá)缺乏對物理功能和語義的有效描述，使得現(xiàn)有的圖形學(xué)技術(shù)工具集無法幫助用戶有效的將高層抽象的功能和情節(jié)描述轉(zhuǎn)化為具體的三維屬性和表達(dá)。隨著機(jī)器學(xué)習(xí)的引入，圖形學(xué)技術(shù)的集成和表達(dá)的融合，圖形學(xué)研究將慢慢從三維信息的基礎(chǔ)設(shè)計和表達(dá)工具向高層語義的目標(biāo)進(jìn)發(fā)，最終實現(xiàn)從用戶的高層語義描述自動生成三維內(nèi)容的最終目標(biāo)。

放眼未來，隨著計算機(jī)圖形學(xué)的進(jìn)一步發(fā)展，計算機(jī)輔助設(shè)計和制造技術(shù)的進(jìn)步，帶有傳感器的三維打印的個性化產(chǎn)品和機(jī)器人將被廣泛應(yīng)用于人類的實際生活和現(xiàn)實世界中。而真實環(huán)境的數(shù)據(jù)化孿生也將在計算機(jī)中實時地監(jiān)控著真實環(huán)境的動態(tài)變化，規(guī)劃協(xié)調(diào)機(jī)器人高效地完成不同任務(wù)。而在虛擬世界中，隨著內(nèi)容創(chuàng)作工具的進(jìn)步，每個人的藝術(shù)天分都可以得到充分發(fā)揮，從而自由地創(chuàng)建自己的虛擬世界、游戲和虛擬化身。隨著下一代的虛擬現(xiàn)實設(shè)備和增強(qiáng)現(xiàn)實設(shè)備的出現(xiàn)，真實和虛擬的世界會得到更好的融合，新一代的人類將不需要再區(qū)分真實世界和虛擬世界。人、計算機(jī)（機(jī)器人和虛擬世界）和真實的物理世界將和諧高效地融合在一起，帶給人類一個超現(xiàn)實的世界。

本文作者：微軟亞洲研究院網(wǎng)絡(luò)圖形組