本文來源：機(jī)器之心編譯 作者：Zonghan Wu

圖神經(jīng)網(wǎng)絡(luò)（GNN）熱度持續(xù)上升，之前我們?cè)榻B了清華兩篇綜述論文，參見：深度學(xué)習(xí)時(shí)代的圖模型，清華發(fā)文綜述圖網(wǎng)絡(luò)，和清華大學(xué)圖神經(jīng)網(wǎng)絡(luò)綜述：模型與應(yīng)用。最近，IEEEFellow、SeniorMember和MemberZonghanWu等人又貢獻(xiàn)了一篇圖神經(jīng)網(wǎng)絡(luò)綜述文章。這篇文章介紹了GNN的背景知識(shí)、發(fā)展歷史、分類與框架、應(yīng)用等，詳細(xì)介紹了各種模型與方法，包括公式、模型圖示、算法等，希望對(duì)大家有所幫助。

引言

深度網(wǎng)絡(luò)的最新進(jìn)展推進(jìn)了模式識(shí)別和數(shù)據(jù)挖掘領(lǐng)域的研究。目標(biāo)檢測、機(jī)器翻譯、語音識(shí)別等許多機(jī)器學(xué)習(xí)任務(wù)曾高度依賴手工特征工程來提取信息特征集合，但多種端到端深度學(xué)習(xí)方式（即卷積神經(jīng)網(wǎng)絡(luò)、長短期記憶網(wǎng)絡(luò)和自編碼器）改變了這種狀況。深度學(xué)習(xí)在多個(gè)領(lǐng)域的成功主要?dú)w功于計(jì)算資源的快速發(fā)展（如GPU）、大量訓(xùn)練數(shù)據(jù)的收集，還有深度學(xué)習(xí)從歐幾里得數(shù)據(jù)（如圖像、文本和視頻）中提取潛在表征的有效性。例如CNN可以利用平移不變性、局部連通性和圖像數(shù)據(jù)語意合成性，從而提取出與整個(gè)數(shù)據(jù)集共享的局部有意義的特征，用于各種圖像分析任務(wù)。

盡管深度學(xué)習(xí)已經(jīng)在歐幾里得數(shù)據(jù)中取得了很大的成功，但從非歐幾里得域生成的數(shù)據(jù)已經(jīng)取得更廣泛的應(yīng)用，它們需要有效分析。例如，在電子商務(wù)領(lǐng)域，一個(gè)基于圖的學(xué)習(xí)系統(tǒng)能夠利用用戶和產(chǎn)品之間的交互以實(shí)現(xiàn)高度精準(zhǔn)的推薦。在化學(xué)領(lǐng)域，分子被建模為圖，新藥研發(fā)需要測定其生物活性。在論文引用網(wǎng)絡(luò)中，論文之間通過引用關(guān)系互相連接，需要將它們分成不同的類別。

圖數(shù)據(jù)的復(fù)雜性對(duì)現(xiàn)有機(jī)器學(xué)習(xí)算法提出了重大挑戰(zhàn)，因?yàn)閳D數(shù)據(jù)是不規(guī)則的。每張圖大小不同、節(jié)點(diǎn)無序，一張圖中的每個(gè)節(jié)點(diǎn)都有不同數(shù)目的鄰近節(jié)點(diǎn)，使得一些在圖像中容易計(jì)算的重要運(yùn)算（如卷積）不能再直接應(yīng)用于圖。此外，現(xiàn)有機(jī)器學(xué)習(xí)算法的核心假設(shè)是實(shí)例彼此獨(dú)立。然而，圖數(shù)據(jù)中的每個(gè)實(shí)例都與周圍的其它實(shí)例相關(guān)，含有一些復(fù)雜的連接信息，用于捕獲數(shù)據(jù)之間的依賴關(guān)系，包括引用、朋友關(guān)系和相互作用。

最近，越來越多的研究開始將深度學(xué)習(xí)方法應(yīng)用到圖數(shù)據(jù)領(lǐng)域。受到深度學(xué)習(xí)領(lǐng)域進(jìn)展的驅(qū)動(dòng)，研究人員在設(shè)計(jì)圖神經(jīng)網(wǎng)絡(luò)的架構(gòu)時(shí)借鑒了卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)和深度自編碼器的思想。為了應(yīng)對(duì)圖數(shù)據(jù)的復(fù)雜性，重要運(yùn)算的泛化和定義在過去幾年中迅速發(fā)展。例如，圖1展示了受標(biāo)準(zhǔn)2D卷積啟發(fā)得到的圖卷積。本文旨在對(duì)這些方法進(jìn)行全面概述，受眾包括想要進(jìn)入這一快速發(fā)展領(lǐng)域的研究人員和想要對(duì)比圖神經(jīng)網(wǎng)絡(luò)算法的專家。

圖1：2D卷積 vs.圖卷積

圖神經(jīng)網(wǎng)絡(luò)簡史

圖神經(jīng)網(wǎng)絡(luò)的概念首先由Gori等人（2005）[16]提出，并由Scarselli等人（2009）[17]進(jìn)一步闡明。這些早期的研究以迭代的方式通過循環(huán)神經(jīng)架構(gòu)傳播鄰近信息來學(xué)習(xí)目標(biāo)節(jié)點(diǎn)的表示，直到達(dá)到穩(wěn)定的固定點(diǎn)。該過程所需計(jì)算量龐大，而近來也有許多研究致力于解決這個(gè)難題。在本文中，圖神經(jīng)網(wǎng)絡(luò)代表的是所有用于圖數(shù)據(jù)的深度學(xué)習(xí)方法。

受到卷積網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域所獲巨大成功的激勵(lì)，近來出現(xiàn)了很多為圖數(shù)據(jù)重新定義卷積概念的方法。這些方法屬于圖卷積網(wǎng)絡(luò)（GCN）的范疇。Bruna等人（2013）提出了關(guān)于圖卷積網(wǎng)絡(luò)的第一項(xiàng)重要研究，他們基于譜圖論（spectralgraphtheory）開發(fā)了一種圖卷積的變體。自此，基于譜的圖卷積網(wǎng)絡(luò)不斷改進(jìn)、拓展、進(jìn)階。由于譜方法通常同時(shí)處理整個(gè)圖，并且難以并行或擴(kuò)展到大圖上，基于空間的圖卷積網(wǎng)絡(luò)開始快速發(fā)展。這些方法通過聚集近鄰節(jié)點(diǎn)的信息，直接在圖結(jié)構(gòu)上執(zhí)行卷積。結(jié)合采樣策略，計(jì)算可以在一個(gè)批量的節(jié)點(diǎn)而不是整個(gè)圖中執(zhí)行，這種做法有望提高效率。

除了圖卷積網(wǎng)絡(luò)，近幾年還開發(fā)出了很多替代的圖神經(jīng)網(wǎng)絡(luò)。這些方法包括圖注意力網(wǎng)絡(luò)（GAT）、圖自編碼器、圖生成網(wǎng)絡(luò)以及圖時(shí)空網(wǎng)絡(luò)。關(guān)于這些方法的分類細(xì)節(jié)詳見第三章。

圖神經(jīng)網(wǎng)絡(luò)相關(guān)研究。Bronstein等人用符號(hào)幾何深度學(xué)習(xí)概述了非歐幾里得領(lǐng)域的深度學(xué)習(xí)方法，包括圖和流形。雖然這是對(duì)圖卷積網(wǎng)絡(luò)的第一次回顧，但這一項(xiàng)研究遺漏了幾個(gè)基于空間的重要方法，包括[15],[19],[24],[26],[27],[28]，這些方法更新了最新的基準(zhǔn)。此外，這項(xiàng)調(diào)查沒有囊括很多新開發(fā)的架構(gòu)，這些架構(gòu)的重要性不亞于圖卷積網(wǎng)絡(luò)。

對(duì)于另一項(xiàng)研究，Battaglia等人[29]將圖網(wǎng)絡(luò)定位為從關(guān)系數(shù)據(jù)中學(xué)習(xí)的構(gòu)建塊，并在統(tǒng)一的框架下回顧了部分圖神經(jīng)網(wǎng)絡(luò)。然而，他們整體的框架是高度抽象的，失去了每種方法在原論文中的見解。Lee等人[30]對(duì)圖注意力模型（一種圖神經(jīng)網(wǎng)絡(luò)）進(jìn)行了部分調(diào)查。最近，Zhang等人[31]提出了一項(xiàng)關(guān)于圖深度學(xué)習(xí)的最新調(diào)查，卻忽略了對(duì)圖生成網(wǎng)絡(luò)和圖時(shí)空網(wǎng)絡(luò)的研究?？傊F(xiàn)有的研究沒有一個(gè)對(duì)圖神經(jīng)網(wǎng)絡(luò)進(jìn)行全面的回顧，只覆蓋了部分圖卷積神經(jīng)網(wǎng)絡(luò)且檢查的研究有限，因此遺漏了圖神經(jīng)網(wǎng)絡(luò)替代方法的最新進(jìn)展，如圖生成網(wǎng)絡(luò)和圖時(shí)空網(wǎng)絡(luò)。

圖神經(jīng)網(wǎng)絡(luò)vs.網(wǎng)絡(luò)嵌入。對(duì)圖神經(jīng)網(wǎng)絡(luò)的研究與圖嵌入或網(wǎng)絡(luò)嵌入緊密相關(guān)，這也是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)社區(qū)日益關(guān)注的一個(gè)話題[32][33][34][35],[36],[37]。網(wǎng)絡(luò)嵌入旨在通過保留網(wǎng)絡(luò)拓?fù)浼軜?gòu)和節(jié)點(diǎn)內(nèi)容信息，將網(wǎng)絡(luò)頂點(diǎn)表示到低維向量空間中，以使任何后續(xù)的圖分析任務(wù)（如分類、聚類和推薦）都可以通過使用簡單的現(xiàn)成學(xué)習(xí)機(jī)算法（如用于分類的支持向量機(jī)）輕松執(zhí)行。許多網(wǎng)絡(luò)嵌入算法都是無監(jiān)督算法，它們大致可分為三組[32]，即矩陣分解[38],[39]、隨機(jī)游走[40]和深度學(xué)習(xí)方法。用于網(wǎng)絡(luò)嵌入的深度學(xué)習(xí)方法同時(shí)還屬于圖神經(jīng)網(wǎng)絡(luò)，包括基于圖自編碼器的算法（如DNGR[41]和SDNE[42]）和具有無監(jiān)督訓(xùn)練的圖卷積神經(jīng)網(wǎng)絡(luò)（如GraphSage[24]）。圖2描述了本文中網(wǎng)絡(luò)嵌入和圖神經(jīng)網(wǎng)絡(luò)的區(qū)別。

圖2：網(wǎng)絡(luò)嵌入vs圖神經(jīng)網(wǎng)絡(luò)。

本文作出的貢獻(xiàn)如下：

新的分類體系：考慮到深度學(xué)習(xí)在圖數(shù)據(jù)上的研究與日俱增，我們提出了圖神經(jīng)網(wǎng)絡(luò)（GNN）的新分類體系。在這種分類體系下，GNN被分成了5個(gè)類別：圖卷積網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)、圖自編碼器、圖生成網(wǎng)絡(luò)和圖時(shí)空網(wǎng)絡(luò)。我們確定了圖神經(jīng)網(wǎng)絡(luò)和網(wǎng)絡(luò)嵌入之間的區(qū)別，并在不同的圖神經(jīng)網(wǎng)絡(luò)架構(gòu)之間建立了聯(lián)系。

全面的概述：這個(gè)綜述提供了在圖數(shù)據(jù)上的現(xiàn)代深度學(xué)習(xí)技術(shù)的全面概述。對(duì)每一種類型的圖神經(jīng)網(wǎng)絡(luò)，我們提供了表征算法的細(xì)節(jié)描述，并做了必要的對(duì)比和對(duì)應(yīng)算法的總結(jié)。

豐富的資源：這篇綜述提供了圖神經(jīng)網(wǎng)絡(luò)的豐富資源，其中包括當(dāng)前最佳算法、基準(zhǔn)數(shù)據(jù)集、開源代碼和實(shí)踐應(yīng)用。這篇綜述可以作為理解、使用和開發(fā)不同實(shí)際應(yīng)用的深度學(xué)習(xí)方法的實(shí)踐指南。

未來方向：這篇綜述還強(qiáng)調(diào)了已有算法的當(dāng)前限制，指出了這個(gè)快速發(fā)展領(lǐng)域未來的可能方向。

論文：AComprehensiveSurveyonGraphNeuralNetworks

論文鏈接：https://arxiv.org/pdf/1901.00596v1.pdf

摘要：近年來，從圖像分類到視頻處理再到語音識(shí)別和自然語言處理，深度學(xué)習(xí)已經(jīng)變革了多項(xiàng)機(jī)器學(xué)習(xí)任務(wù)。這些任務(wù)中的數(shù)據(jù)通常表示在歐幾里得空間中。然而，越來越多的應(yīng)用使用非歐幾里得域生成的數(shù)據(jù)，并將它們表示為具有復(fù)雜關(guān)系和相互依賴關(guān)系的圖。雖然圖數(shù)據(jù)的復(fù)雜性對(duì)現(xiàn)有機(jī)器學(xué)習(xí)算法提出了重大挑戰(zhàn)，但最近許多研究開始將深度學(xué)習(xí)方法擴(kuò)展到圖數(shù)據(jù)。

本文綜述了數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域中的圖神經(jīng)網(wǎng)絡(luò)（GNN），并按照新的方法對(duì)圖神經(jīng)網(wǎng)絡(luò)的最新進(jìn)展進(jìn)行了分類。在關(guān)注圖卷積網(wǎng)絡(luò)的同時(shí)，他們還回顧了最近開發(fā)的其他架構(gòu)，例如圖注意力網(wǎng)絡(luò)、圖自編碼器，圖生成網(wǎng)絡(luò)以及圖時(shí)空網(wǎng)絡(luò)等。我們還進(jìn)一步討論了圖神經(jīng)網(wǎng)絡(luò)在多個(gè)領(lǐng)域的應(yīng)用并總結(jié)了不同學(xué)習(xí)任務(wù)現(xiàn)有算法的開源代碼及基準(zhǔn)。最后，我們提出了這一快速發(fā)展領(lǐng)域的研究方向。

2.定義

在這一節(jié)，我們提供基礎(chǔ)圖概念的定義。為了方便查詢，我們?cè)诒?總結(jié)了常用的符號(hào)。

表1：常用符號(hào)。

3.分類與框架

這一部分內(nèi)容給出了圖神經(jīng)網(wǎng)絡(luò)的分類方法。我們考慮到了所有能與神經(jīng)架構(gòu)組合成圖神經(jīng)網(wǎng)絡(luò)的可微圖模型，把圖神經(jīng)網(wǎng)絡(luò)最終分類為：圖卷積網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)、圖自編碼器、圖生成網(wǎng)絡(luò)和圖時(shí)空網(wǎng)絡(luò)。這些網(wǎng)絡(luò)中，圖卷積網(wǎng)絡(luò)在捕捉架構(gòu)依存關(guān)系上扮演著核心角色。如下圖3所示，屬于其他類別的方法部分使用圖卷積網(wǎng)絡(luò)作為基礎(chǔ)。表2總結(jié)了每個(gè)類別的代表性方法。

圖3：圖神經(jīng)網(wǎng)絡(luò)分類

表2：圖神經(jīng)網(wǎng)絡(luò)代表性論文

下圖4展示了圖卷積網(wǎng)絡(luò)節(jié)點(diǎn)表征學(xué)習(xí)的過程。

圖4：有多層GCN層的圖卷積網(wǎng)絡(luò)變體。通過從鄰域聚合特征信息，一個(gè)GCN層把每個(gè)節(jié)點(diǎn)的隱藏表征進(jìn)行壓縮。在特征聚合之后，非線性置換被應(yīng)用到生成的輸出上。通過多層堆疊，每個(gè)節(jié)點(diǎn)的最終隱藏表征從后續(xù)鄰域獲得信息。

下圖5展示了多個(gè)建立在GCN上的圖神經(jīng)網(wǎng)絡(luò)模型。

圖5：建立在GCN上的不同圖神經(jīng)網(wǎng)絡(luò)模型。

下圖展示了圖卷積網(wǎng)絡(luò)和圖注意力網(wǎng)絡(luò)在聚合鄰近節(jié)點(diǎn)信息方面的區(qū)別。

3.2框架

表3：圖卷積網(wǎng)絡(luò)的總結(jié)。Node-level輸出與節(jié)點(diǎn)回歸和分類任務(wù)相關(guān)，Edge-level輸出與邊分類和鏈接預(yù)測任務(wù)相關(guān)，Graph-level輸出與圖分類任務(wù)相關(guān)。

端到端訓(xùn)練框架。圖卷積網(wǎng)絡(luò)可以以（半）監(jiān)督或純無監(jiān)督的方式在端到端學(xué)習(xí)框架中訓(xùn)練，依賴于學(xué)習(xí)任務(wù)和可用的標(biāo)簽信息。

節(jié)點(diǎn)級(jí)分類的半監(jiān)督學(xué)習(xí)。給定部分節(jié)點(diǎn)被標(biāo)記的單個(gè)網(wǎng)絡(luò)，圖卷積網(wǎng)絡(luò)可以學(xué)習(xí)到一個(gè)魯棒的模型，高效識(shí)別未標(biāo)記節(jié)點(diǎn)的類別標(biāo)簽[14]。為此，可以通過堆疊一系列的圖卷積層和softmax層來建立端到端框架進(jìn)行多類別分類。

圖級(jí)分類的監(jiān)督學(xué)習(xí)。給定一個(gè)圖數(shù)據(jù)集，圖級(jí)分類旨在預(yù)測整個(gè)圖的類別標(biāo)簽[55],[56],[74],[75]。這一任務(wù)的端到端學(xué)習(xí)可以利用一個(gè)結(jié)合了圖卷積層和池化步驟的框架實(shí)現(xiàn)[55],[56]。

圖嵌入的無監(jiān)督學(xué)習(xí)。如果圖中無可用類別標(biāo)簽，我們可以在一個(gè)端到端框架中以完全無監(jiān)督的方式學(xué)習(xí)圖嵌入。這些算法通過兩種方式利用邊級(jí)（edge-level）信息。一種簡單的方法是采用自編碼器框架，其中編碼器使用圖卷積層將圖嵌進(jìn)潛在表征中，然后使用解碼器重構(gòu)圖結(jié)構(gòu)[59],[61]。另一種方法是利用負(fù)采樣方法，采樣一部分節(jié)點(diǎn)對(duì)作為負(fù)對(duì)（negativepair），而圖中已有的節(jié)點(diǎn)作為正對(duì)（positivepair）。然后在卷積層之后應(yīng)用logistic回歸層，以用于端到端學(xué)習(xí)[24]。

4.圖卷積網(wǎng)絡(luò)

這一章概覽圖卷積網(wǎng)絡(luò)（GCN），這是很多復(fù)雜圖神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。GCN方法分為兩類，分別基于譜和空間?；谧V的方法通過從圖信號(hào)處理的角度引入濾波器來定義圖卷積，其中圖卷積運(yùn)算被解釋為從圖信號(hào)中去除噪聲[76]。基于空間的方法將圖卷積表征為聚合來自近鄰的特征信息。雖然GCN在節(jié)點(diǎn)級(jí)別上運(yùn)行，但是圖池化模塊可以與GCN層交替，將圖粗?；癁楦呒?jí)子結(jié)構(gòu)。如圖5a所示，這種架構(gòu)設(shè)計(jì)可用于提取圖級(jí)表征、執(zhí)行圖分類任務(wù)。下文會(huì)分別介紹、基于空間的GCN和圖池化模塊。

基于譜的GCN部分介紹了其背景、方法等，這些方法包括SpectralCNN、ChebyshevSpectralCNN(ChebNet)、FirstorderofChebNet(1stChebNet)和AdaptiveGraphConvolutionNetwork(AGCN)。

基于空間的GCN分為兩類：Recurrent-basedSpatialGCN和CompositionBasedSpatialGCN。前者包括圖神經(jīng)網(wǎng)絡(luò)（GraphNeuralNetworks，GNN）、門控圖神經(jīng)網(wǎng)絡(luò)（GatedGraphNeuralNetworks，GGNN）和StochasticSteady-stateEmbedding(SSE)。后者涉及了：MessagePassingNeuralNetworks(MPNN)、GraphSage。此外，這部分還介紹了這兩大類之外的空間GCN變體，包括DiffusionConvolutionNeuralNetworks(DCNN)、PATCHY-SAN、Large-scaleGraphConvolutionNetworks(LGCN)、MixtureModelNetwork(MoNet)。

SSE算法。

這一章還從效率、通用性和靈活性方面，對(duì)比了基于譜的GCN和基于空間的GCN，認(rèn)為基于空間的GCN更具優(yōu)勢，也因此吸引了更多研究興趣。

5圖卷積網(wǎng)絡(luò)之外的模型

這部分概述了圖卷積網(wǎng)絡(luò)之外的其他圖神經(jīng)網(wǎng)絡(luò)，包括圖注意力神經(jīng)網(wǎng)絡(luò)、圖自編碼器、圖生成模型和圖時(shí)空網(wǎng)絡(luò)。下表總結(jié)了每個(gè)類別下的主要方法。

表4：圖卷積網(wǎng)絡(luò)之外的其他圖神經(jīng)網(wǎng)絡(luò)概覽。該表根據(jù)網(wǎng)絡(luò)的輸入、輸出、目標(biāo)任務(wù)和是否基于GCN總結(jié)了每種網(wǎng)絡(luò)下的多種方法。輸入列代表每種方法適合分布式圖(A)、有向圖(D)還是時(shí)空?qǐng)D(S)。

5.1圖注意力網(wǎng)絡(luò)

注意力機(jī)制幾乎成為序列任務(wù)中的標(biāo)配。它的價(jià)值在于能夠聚焦于對(duì)象最重要的部分。該機(jī)制被證明在多項(xiàng)任務(wù)中有用，如機(jī)器翻譯和自然語言理解。由于注意力機(jī)制的模型容量越來越大，圖神經(jīng)網(wǎng)絡(luò)在聚合信息、集成多個(gè)模型的輸出、生成重要性導(dǎo)向的隨機(jī)游走時(shí)，可以從注意力機(jī)制中獲益良多。

這部分介紹了圖注意力網(wǎng)絡(luò)的多種方法，包括圖注意力網(wǎng)絡(luò)（GraphAttentionNetwork，GAT）、門控注意力網(wǎng)絡(luò)（GatedAttentionNetwork，GAAN）、圖注意力模型（GraphAttentionModel，GAM）、注意力游走（AttentionWalks）。

注意力機(jī)制對(duì)圖神經(jīng)網(wǎng)絡(luò)的貢獻(xiàn)有三部分，即在聚合特征信息時(shí)向不同近鄰分配注意力權(quán)重、根據(jù)注意力權(quán)重集成多個(gè)模型，以及使用注意力權(quán)重引導(dǎo)隨機(jī)游走。盡管我們把GAT和GAAN分類為圖注意力網(wǎng)絡(luò)的兩種方法，但是它們都可以作為基于空間的卷積網(wǎng)絡(luò)。二者的優(yōu)勢是它們可以適應(yīng)性地學(xué)習(xí)近鄰的重要性權(quán)重（如圖6所示）。但是，由于我們必須計(jì)算每對(duì)近鄰之間的注意力權(quán)重，因此計(jì)算成本和內(nèi)存消耗會(huì)快速增長。

5.2圖自編碼器

圖自編碼器是一類網(wǎng)絡(luò)嵌入方法，旨在通過神經(jīng)網(wǎng)絡(luò)架構(gòu)將網(wǎng)絡(luò)頂點(diǎn)表征到低維向量空間。典型的解決方案是使用多層感知機(jī)作為編碼器來獲取節(jié)點(diǎn)嵌入，解碼器重建節(jié)點(diǎn)的近鄰統(tǒng)計(jì)，如正逐點(diǎn)互信息（positivepointwisemutualinformation，PPMI）或一階、二階接近度（proximities）[42]。最近，研究人員嘗試在設(shè)計(jì)圖自編碼器時(shí)用GCN作為編碼器、結(jié)合GCN和GAN，或者結(jié)合LSTM和GAN。

這部分介紹了基于GCN的自編碼器和其他變體?；贕CN的自編碼器部分介紹了：圖自編碼器（GraphAuto-encoder，GAE）、對(duì)抗正則化圖自編碼器（AdversariallyRegularizedGraphAutoencoder，ARGA）。其他變體包括：具備對(duì)抗正則化自編碼器的網(wǎng)絡(luò)表征（NetworkRepresentationswithAdversariallyRegularizedAutoencoders，NetRA）、用于圖表征的深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetworksforGraphRepresentations，DNGR）、結(jié)構(gòu)化深度網(wǎng)絡(luò)嵌入（StructuralDeepNetworkEmbedding，SDNE）、深度遞歸網(wǎng)絡(luò)嵌入（DeepRecursiveNetworkEmbedding，DRNE）。

DNGR和SDNE僅基于拓?fù)浣Y(jié)構(gòu)學(xué)習(xí)節(jié)點(diǎn)嵌入，而GAE、ARGA、NetRA和DRNE需要基于拓?fù)湫畔⒑凸?jié)點(diǎn)內(nèi)容特征學(xué)習(xí)節(jié)點(diǎn)嵌入。圖自編碼器的一個(gè)挑戰(zhàn)是鄰接矩陣的稀疏性，會(huì)導(dǎo)致解碼器正條目（positiveentry）的數(shù)量遠(yuǎn)遠(yuǎn)少于負(fù)條目。為了解決這個(gè)問題，DNGR重建了一個(gè)較稠密的矩陣——PPMI矩陣，SDNE對(duì)鄰接矩陣的零條目進(jìn)行懲罰，GAE重新調(diào)整鄰接矩陣中項(xiàng)的權(quán)重，NetRA將圖線性化為序列。

5.3圖生成網(wǎng)絡(luò)

圖生成網(wǎng)絡(luò)的目標(biāo)是基于一組可觀察圖來生成圖。其中的很多方法都是領(lǐng)域特定的。例如，在分子圖生成方面，一些研究將分子圖的表征建模為字符串SMILES[94],[95],[96],[97]。在自然語言處理中，生成語義圖或知識(shí)圖通常需要一個(gè)給定的句子[98],[99]。最近，研究人員又提出了多個(gè)通用方法。一些研究將生成過程看成節(jié)點(diǎn)或邊的形成[64],[65]，而另一些則使用生成對(duì)抗訓(xùn)練[66],[67]。該領(lǐng)域的方法要么使用GCN作為構(gòu)造塊，要么使用不同的架構(gòu)。

這部分介紹了基于GCN的圖生成網(wǎng)絡(luò)和其他圖生成網(wǎng)絡(luò)。前者包括：分子生成對(duì)抗網(wǎng)絡(luò)（MolecularGenerativeAdversarialNetworks，MolGAN）和深度圖生成模型（DeepGenerativeModelsofGraphs，DGMG）；后者涉及GraphRNN（通過兩級(jí)循環(huán)神經(jīng)網(wǎng)絡(luò)使用深度圖生成模型）和NetGAN（結(jié)合LSTM和WassersteinGAN從基于隨機(jī)游走的方法中生成圖）。

圖9：MolGAN框架圖示。

5.4圖時(shí)空網(wǎng)絡(luò)

圖時(shí)空網(wǎng)絡(luò)同時(shí)捕捉時(shí)空?qǐng)D的時(shí)間和空間依賴。時(shí)空?qǐng)D具備全局圖結(jié)構(gòu)，每個(gè)節(jié)點(diǎn)的輸入隨著時(shí)間而改變。例如在交通網(wǎng)絡(luò)中，使用每個(gè)傳感器作為節(jié)點(diǎn)來連續(xù)記錄某條道路的交通流動(dòng)速度，其中交通網(wǎng)絡(luò)的邊由傳感器對(duì)之間的距離決定。圖時(shí)空網(wǎng)絡(luò)的目標(biāo)是預(yù)測未來節(jié)點(diǎn)值或標(biāo)簽，或預(yù)測時(shí)空?qǐng)D標(biāo)簽。近期研究探索了僅使用GCN、結(jié)合GCN和RNN或CNN，以及專用于圖結(jié)構(gòu)的循環(huán)架構(gòu)。

這部分介紹了基于GCN的圖時(shí)空網(wǎng)絡(luò)和其他圖時(shí)空網(wǎng)絡(luò)。前者包括：DiffusionConvolutionalRecurrentNeuralNetwork(DCRNN)、CNN-GCN、時(shí)空GCN（SpatialTemporalGCN，ST-GCN）。其他方法有Structural-RNN，一種循環(huán)結(jié)構(gòu)化框架。

DCRNN的優(yōu)勢是能夠處理長期依賴，因?yàn)樗邆溲h(huán)網(wǎng)絡(luò)架構(gòu)。盡管CNN-GCN比DCRNN簡單一些，但CNN-GCN能夠更高效地處理時(shí)空?qǐng)D，這要?dú)w功于1DCNN的快速實(shí)現(xiàn)。時(shí)空GCN將時(shí)間流作為圖的邊，這導(dǎo)致鄰接矩陣的大小呈平方增長。一方面，它增加了圖卷積層的計(jì)算成本。另一方面，要捕捉長期依賴，圖卷積層必須多次堆疊。StructuralRNN在同一個(gè)語義組內(nèi)共享相同的RNN，從而改善了模型效率，但是StructuralRNN需要人類先驗(yàn)知識(shí)來分割語義組。

6應(yīng)用

圖神經(jīng)網(wǎng)絡(luò)應(yīng)用廣泛。下面將首先介紹在文獻(xiàn)中頻繁使用的基準(zhǔn)數(shù)據(jù)集。接著將報(bào)告各種方法在四種常用數(shù)據(jù)集上的基準(zhǔn)性能，并列出可用的圖神經(jīng)網(wǎng)絡(luò)開源實(shí)現(xiàn)。最后，我們將介紹圖神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域的實(shí)際應(yīng)用案例。

6.1數(shù)據(jù)集

表5：常用數(shù)據(jù)集總結(jié)。

6.2基準(zhǔn)和開源實(shí)現(xiàn)

表6：各種方法在四種最常用數(shù)據(jù)集上的基準(zhǔn)性能。以上列出的方法都使用相同的訓(xùn)練、驗(yàn)證和測試數(shù)據(jù)集進(jìn)行評(píng)估。

表7：開源實(shí)現(xiàn)概覽。

6.3實(shí)際應(yīng)用案例

本文按領(lǐng)域介紹了GNN的應(yīng)用，包括計(jì)算機(jī)視覺、推薦系統(tǒng)、交通、化學(xué)等。

7未來方向

加深網(wǎng)絡(luò)。深度學(xué)習(xí)的成功在于深度神經(jīng)架構(gòu)。例如在圖像分類中，模型ResNet具有152層。但在圖網(wǎng)絡(luò)中，實(shí)證研究表明，隨著網(wǎng)絡(luò)層數(shù)增加，模型性能急劇下降[147]。根據(jù)論文[147]，這是由于圖卷積的影響，因?yàn)樗举|(zhì)上推動(dòng)相鄰節(jié)點(diǎn)的表示更加接近彼此，所以理論上，通過無限次卷積，所有節(jié)點(diǎn)的表示將收斂到一個(gè)點(diǎn)。這導(dǎo)致了一個(gè)問題：加深網(wǎng)絡(luò)是否仍然是學(xué)習(xí)圖結(jié)構(gòu)數(shù)據(jù)的好策略？

感受野。節(jié)點(diǎn)的感受野是指一組節(jié)點(diǎn)，包括中心節(jié)點(diǎn)和其近鄰節(jié)點(diǎn)。節(jié)點(diǎn)的近鄰（節(jié)點(diǎn)）數(shù)量遵循冪律分布。有些節(jié)點(diǎn)可能只有一個(gè)近鄰，而有些節(jié)點(diǎn)卻有數(shù)千個(gè)近鄰。盡管采用了采樣策略[24],[26],[27]，但如何選擇節(jié)點(diǎn)的代表性感受野仍然有待探索。

可擴(kuò)展性。大部分圖神經(jīng)網(wǎng)絡(luò)并不能很好地?cái)U(kuò)展到大型圖上。主要原因是當(dāng)堆疊一個(gè)圖卷積的多層時(shí)，節(jié)點(diǎn)的最終狀態(tài)涉及其大量近鄰節(jié)點(diǎn)的隱藏狀態(tài)，導(dǎo)致反向傳播變得非常復(fù)雜。雖然有些方法試圖通過快速采樣和子圖訓(xùn)練來提升模型效率[24],[27]，但它們?nèi)詿o法擴(kuò)展到大型圖的深度架構(gòu)上。

動(dòng)態(tài)性和異質(zhì)性。大多數(shù)當(dāng)前的圖神經(jīng)網(wǎng)絡(luò)都處理靜態(tài)同質(zhì)圖。一方面，假設(shè)圖架構(gòu)是固定的。另一方面，假設(shè)圖的節(jié)點(diǎn)和邊來自同一個(gè)來源。然而，這兩個(gè)假設(shè)在很多情況下是不現(xiàn)實(shí)的。在社交網(wǎng)絡(luò)中，一個(gè)新人可能會(huì)隨時(shí)加入，而之前就存在的人也可能退出該社交網(wǎng)絡(luò)。在推薦系統(tǒng)中，產(chǎn)品可能具有不同的類型，而其輸出形式也可能不同，也許是文本，也許是圖像。因此，應(yīng)當(dāng)開發(fā)新方法來處理動(dòng)態(tài)和異質(zhì)圖結(jié)構(gòu)。