圖神經(jīng)網(wǎng)絡(luò)圖解指南圖神經(jīng)網(wǎng)絡(luò)或簡稱 GNN 是用于圖數(shù)據(jù)的深度學(xué)習(xí) （DL） 模型。這些年來它們變得很熱。這種趨勢在 DL 領(lǐng)域并不新鮮：每年我們都會(huì)看到一個(gè)新模型的脫穎而出，它要么在基準(zhǔn)測試中顯示最先進(jìn)的結(jié)果，要么是一個(gè)全新的機(jī)制/框架到已經(jīng)使用的模型中（但是你閱讀論文時(shí)會(huì)感到很簡單）。這種反思讓我們質(zhì)疑這種專門用于圖形數(shù)據(jù)的新模型存在的原因。

為什么我們需要GNN ？圖表無處不在：圖表數(shù)據(jù)非常豐富，我認(rèn)為這是展示我們每天產(chǎn)生或消費(fèi)的材料最自然、最靈活的方式。從大多數(shù)公司和Facebook或Twitter等社交網(wǎng)絡(luò)中使用的關(guān)系數(shù)據(jù)庫，到科學(xué)和文學(xué)中連接知識(shí)創(chuàng)造的引文圖表，我們不需要費(fèi)力地列舉一系列圖表數(shù)據(jù)的例子。甚至圖像也可以被看作是圖表，因?yàn)樗鼈兊木W(wǎng)格結(jié)構(gòu)。

模型能夠捕獲圖中所有可能的信息：正如我們所見，圖數(shù)據(jù)無處不在，并且采用具有特征向量的互連節(jié)點(diǎn)的形式。是的，我們可以使用一些多層感知器模型來解決我們的下游任務(wù)，但是我們將失去圖拓?fù)錇槲覀兲峁┑倪B接。

至于卷積神經(jīng)網(wǎng)絡(luò)，它們的機(jī)制專用于圖的一種特殊情況：網(wǎng)格結(jié)構(gòu)的輸入，其中節(jié)點(diǎn)完全連接而沒有稀疏性。話雖如此，唯一剩下的解決方案是一個(gè)模型，它可以建立在兩個(gè)給出的信息之上：節(jié)點(diǎn)的特征和我們圖中的局部結(jié)構(gòu)，這可以減輕我們的下游任務(wù)；

這就是 GNN 所做的。GNN 訓(xùn)練哪些任務(wù)？既然我們已經(jīng)適度地證明了這些模型的存在，我們將揭示它們的用法。事實(shí)上，我們可以在很多任務(wù)上訓(xùn)練 GNN：大圖中的節(jié)點(diǎn)分類（根據(jù)用戶的屬性和關(guān)系對(duì)社交網(wǎng)絡(luò)中的用戶進(jìn)行細(xì)分），或全圖分類（對(duì)藥物應(yīng)用的蛋白質(zhì)結(jié)構(gòu)進(jìn)行分類）。

除了分類之外，回歸問題還可以在圖數(shù)據(jù)之上制定，不僅適用于節(jié)點(diǎn)，也適用于邊?？偠灾?，圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用是無窮無盡的，取決于用戶的目標(biāo)和他們擁有的數(shù)據(jù)類型。為簡單起見，我們將專注于唯一圖中的節(jié)點(diǎn)分類任務(wù)，我們嘗試將以特征向量為首的節(jié)點(diǎn)圖子集映射到一組預(yù)定義的類別/類。

該問題假設(shè)存在一個(gè)訓(xùn)練集，其中我們有一組標(biāo)記的節(jié)點(diǎn)，并且圖中的所有節(jié)點(diǎn)都有一個(gè)我們注意到 x 的特定特征向量。我們的目標(biāo)是預(yù)測驗(yàn)證集中特征節(jié)點(diǎn)的標(biāo)簽。

GNN的本質(zhì)現(xiàn)在我們已經(jīng)設(shè)置了我們的問題，是時(shí)候了解 GNN 模型將如何訓(xùn)練以輸出未標(biāo)記節(jié)點(diǎn)的類。事實(shí)上，我們希望我們的模型不僅要使用我們節(jié)點(diǎn)的特征向量，還要利用我們處理的圖結(jié)構(gòu)。使 GNN 獨(dú)一無二的最后一條語句必須包含在某個(gè)假設(shè)中，該假設(shè)聲明相鄰節(jié)點(diǎn)傾向于共享相同的標(biāo)簽。

GNN通過使用消息傳遞形式化來整合這一點(diǎn)，本文將進(jìn)一步討論這一概念。我們將介紹一些我們將在后面考慮的瓶頸。上面說的非常的抽象，現(xiàn)在讓我們看看 GNN 是如何構(gòu)建的。事實(shí)上，GNN 模型包含一系列通過更新的節(jié)點(diǎn)表示進(jìn)行通信的層（每一層為每個(gè)節(jié)點(diǎn)輸出一個(gè)嵌入向量，然后將其用作下一層的輸入以在其上構(gòu)建）。

我們模型的目的是構(gòu)建這些嵌入（對(duì)于每個(gè)節(jié)點(diǎn)），集成節(jié)點(diǎn)的初始特征向量和圍繞它們的局部圖結(jié)構(gòu)的信息。一旦我們有了很好的嵌入，我們將經(jīng)典的 Softmax 層提供給這些嵌入以輸出相關(guān)類。

為了構(gòu)建這些嵌入，GNN層使用了一種稱為消息傳遞的簡單機(jī)制，它幫助圖節(jié)點(diǎn)與它們的鄰居交換信息，從而一層接一層地更新它們的嵌入向量。

消息傳遞框架

這一切都從一些節(jié)點(diǎn)開始，向量 x 描述它們的屬性，然后每個(gè)節(jié)點(diǎn)通過置換等變函數(shù)（均值、最大值、最小值……）從其鄰居節(jié)點(diǎn)收集其他特征向量。換句話說，一個(gè)對(duì)節(jié)點(diǎn)排序不敏感的函數(shù)。這個(gè)操作叫做聚合，它輸出一個(gè)消息向量。

第二步是Update函數(shù)，節(jié)點(diǎn)將從它的鄰居（消息向量）收集到的信息與它自己的信息（特征向量）結(jié)合起來，構(gòu)造一個(gè)新的向量h： embedded。該聚合和更新函數(shù)的實(shí)例化在不同的論文中有所不同。您可以參考GCN［1］、GraphSage［2］、GAT［3］或其他，但消息傳遞的思想保持不變。

這個(gè)框架背后的直覺是什么？好吧，我們希望我們節(jié)點(diǎn)的新嵌入能夠考慮到本地圖結(jié)構(gòu)，這就是我們從鄰居節(jié)點(diǎn)聚合信息的原因。通過這樣做，人們可以直觀地預(yù)見聚合后的一組鄰居節(jié)點(diǎn)將具有更相似的表示，這將減輕我們最終的分類任務(wù)。在我們的第一個(gè)假設(shè)（鄰居節(jié)點(diǎn)傾向于共享相同的標(biāo)簽）的情況下，所有這些都是成立的。

GNN 中的層組合

現(xiàn)在我們已經(jīng)了解了消息傳遞的主要機(jī)制，是時(shí)候了解層在 GNN 上下文中的含義了?；叵肷弦还?jié)，每個(gè)節(jié)點(diǎn)使用來自其鄰居的信息來更新其嵌入，因此自然擴(kuò)展是使用來自其鄰居（或第二跳鄰居）的鄰居的信息來增加其感受野并變得更加了解 圖結(jié)構(gòu)。這就是我們 GNN 模型的第二層。我們可以通過聚合來自 N 跳鄰居的信息將其推廣到 N 層。

在這一點(diǎn)上，您對(duì) GNN 的工作原理有了一個(gè)高層次的了解，并且您可能能夠發(fā)現(xiàn)為什么這種形式主義會(huì)出現(xiàn)問題。首先，在深度學(xué)習(xí)的背景下談?wù)?GNN 假設(shè)存在深度（許多層）。

這意味著節(jié)點(diǎn)將可以訪問來自距離較遠(yuǎn)且可能與它們不相似的節(jié)點(diǎn)的信息。一方面，消息傳遞形式主義試圖軟化鄰居節(jié)點(diǎn)之間的距離（平滑），以便稍后簡化我們的分類。另一方面，它可以通過使我們所有的節(jié)點(diǎn)嵌入相似來在另一個(gè)方向上工作，因此我們將無法對(duì)未標(biāo)記的節(jié)點(diǎn)進(jìn)行分類（過度平滑）。在下一節(jié)中，我將嘗試解釋什么是平滑和過度平滑，我們將平滑作為增加 GNN 層的自然效果進(jìn)行討論，我們將了解為什么它會(huì)成為一個(gè)問題。

我還將嘗試對(duì)其進(jìn)行量化（從而使其可跟蹤），并在此量化的基礎(chǔ)上使用已發(fā)表論文中關(guān)于此問題的解決方案來解決它。

GNN 中的過度平滑問題

雖然消息傳遞機(jī)制幫助我們利用封裝在圖形結(jié)構(gòu)中的信息，但如果結(jié)合 GNN 深度，它可能會(huì)引入一些限制。換句話說，我們對(duì)更具表現(xiàn)力和更了解圖結(jié)構(gòu)的模型的追求（通過添加更多層，以便節(jié)點(diǎn)可以有一個(gè)大的感受野）可以轉(zhuǎn)化為一個(gè)模型，該模型對(duì)待節(jié)點(diǎn)都一樣（節(jié)點(diǎn)表示收斂到不可區(qū)分的向量［4］）。

這種平滑現(xiàn)象既不是錯(cuò)誤也不是特例，而是 GNN 的基本性質(zhì)，我們的目標(biāo)是緩解它。為什么會(huì)發(fā)生過度平滑？消息傳遞框架使用了前面介紹的兩個(gè)主要函數(shù) Aggregate 和 Update，它們從鄰居那里收集特征向量并將它們與節(jié)點(diǎn)自己的特征結(jié)合起來更新它們的表示。此操作的工作方式使交互節(jié)點(diǎn)（在此過程中）具有非常相似的表示。我們將嘗試在我們模型的第一層中說明這一點(diǎn)，以說明為什么會(huì)發(fā)生平滑，然后添加更多層以顯示這種表示平滑如何隨層增加。

注意：過度平滑表現(xiàn)為節(jié)點(diǎn)嵌入之間的相似性。所以我們使用顏色，其中不同的顏色意味著向量嵌入的不同。此外，在我們的示例中，為了簡單起見，我們將僅更新突出顯示的 4 個(gè)節(jié)點(diǎn)。

正如您在第一層中看到的，節(jié)點(diǎn)可以訪問單跳鄰居。例如，您還可以觀察到，節(jié)點(diǎn) 2 和節(jié)點(diǎn) 3 幾乎可以訪問相同的信息，因?yàn)樗鼈兿嗷ユ溄硬⒕哂泄餐泥従?，唯一的區(qū)別是它們的最后一個(gè)鄰居（紫色和黃色）。我們可以預(yù)測它們的嵌入會(huì)略有相似。對(duì)于節(jié)點(diǎn) 1 和節(jié)點(diǎn) 4，它們彼此交互但具有不同的鄰居。所以我們可以預(yù)測他們的新嵌入會(huì)有所不同。我們通過為每個(gè)節(jié)點(diǎn)分配新的嵌入來更新我們的圖，然后移動(dòng)到第二層并執(zhí)行相同的過程。

在我們 GNN 的第二層，節(jié)點(diǎn) 1，4 和 2，3 的計(jì)算圖分別幾乎相同。我們可能期望我們?yōu)檫@些節(jié)點(diǎn)更新的新嵌入將更加相似，即使對(duì)于以第一層的方式“幸存”的節(jié)點(diǎn) 1 和節(jié)點(diǎn) 4 現(xiàn)在也將具有相似的嵌入，因?yàn)轭~外的層使他們可以訪問更多 圖的部分，增加了訪問相同節(jié)點(diǎn)的可能性。

這個(gè)簡化的例子展示了過度平滑是 GNN 深度的結(jié)果。公平地說，這與真實(shí)案例相去甚遠(yuǎn)，但它仍然提供了這種現(xiàn)象發(fā)生背后的原因。為什么這真的是一個(gè)問題？現(xiàn)在我們了解了為什么會(huì)發(fā)生過度平滑，以及為什么它是設(shè)計(jì)好的，這是 GNN 層組合的影響，是時(shí)候強(qiáng)調(diào)我們?yōu)槭裁磻?yīng)該關(guān)心它，并激勵(lì)解決方案來克服它。

首先，學(xué)習(xí)嵌入的目標(biāo)是最后將它們提供給分類器，以預(yù)測它們的標(biāo)簽?？紤]到這種過度平滑的效果，我們最終會(huì)為沒有相同標(biāo)簽的節(jié)點(diǎn)得到類似的嵌入，這將導(dǎo)致錯(cuò)誤標(biāo)記它們。有人可能認(rèn)為減少層數(shù)會(huì)降低過度平滑的效果。是的，但這意味著在復(fù)雜結(jié)構(gòu)數(shù)據(jù)的情況下不利用多跳信息，因此不會(huì)提高我們的最終任務(wù)性能。

示例：為了強(qiáng)調(diào)最后一句，我將用一個(gè)在現(xiàn)實(shí)生活中經(jīng)常出現(xiàn)的例子來說明。想象一下，我們正在處理一個(gè)具有數(shù)千個(gè)節(jié)點(diǎn)的社交網(wǎng)絡(luò)圖。一些新用戶剛剛登錄該平臺(tái)并訂閱了他們朋友的個(gè)人資料。我們的目標(biāo)是找到主題建議來填充他們的提要。

考慮到這個(gè)假想的社交網(wǎng)絡(luò)，在我們的GNN模型中只使用1或2層，我們將只知道我們的用戶關(guān)心連接的話題，但我們錯(cuò)過了其他多樣化的話題，他可能會(huì)喜歡他的朋友的互動(dòng)。綜上所述，過度平滑作為一個(gè)問題，我們遇到了一個(gè)低效率模型和一個(gè)更有深度但在節(jié)點(diǎn)表示方面更缺乏表現(xiàn)力的模型之間的權(quán)衡。

我們?nèi)绾瘟炕?？現(xiàn)在我們已經(jīng)明確表示過度平滑是一個(gè)問題并且我們應(yīng)該關(guān)心它，我們必須對(duì)其進(jìn)行量化，以便我們可以在訓(xùn)練 GNN 模型時(shí)對(duì)其進(jìn)行跟蹤。不僅如此，量化還將為我們提供一個(gè)指標(biāo)，通過將其作為正則化項(xiàng)添加到我們的目標(biāo)函數(shù)中（或不。。。。。。），用作數(shù)值懲罰。根據(jù)我最近的閱讀，很多論文都處理了 GNN 中的過度平滑問題，他們都提出了一個(gè)度量來量化它，以證明他們對(duì)這個(gè)問題的假設(shè)并驗(yàn)證他們的解決方案。

我從處理這個(gè)問題的兩篇不同論文中選擇了兩個(gè)指標(biāo)。

MAD 和 MADGap ［5］

Deli Chen 等人引入了兩個(gè)量化指標(biāo) MAD 和 MADGap，來衡量圖節(jié)點(diǎn)表示的平滑度和過度平滑度。一方面，MAD 計(jì)算圖中節(jié)點(diǎn)表示（嵌入）之間的平均平均距離，并使用它來表明平滑是向 GNN 模型添加更多層的自然效果。基于此度量，他們將其擴(kuò)展到 MADGap，該度量度量不同類別節(jié)點(diǎn)之間表示的相似性。這種概括是建立在主要假設(shè)之上的，即在節(jié)點(diǎn)交互時(shí)，它們可以訪問來自同一類的節(jié)點(diǎn)的重要信息，或者通過與來自其他類的節(jié)點(diǎn)交互來獲取噪聲。

在這篇文章中引起我興趣的是作者對(duì)建立消息傳遞形式的主要假設(shè)的質(zhì)疑方式（鄰居節(jié)點(diǎn)可能有類似的標(biāo)簽）。事實(shí)上，他們的測量MADGap不僅僅是一個(gè)過度平滑的測量，而是一個(gè)相對(duì)于我們的節(jié)點(diǎn)收集的信號(hào)的信息噪聲比的測量。因此，觀察到這個(gè)比例一層接著一層地減小，就證明了圖拓?fù)渑c下游任務(wù)目標(biāo)之間的不一致。

群距離比 ［6］

Kaixiong Zhou 等人引入了另一個(gè)應(yīng)變前向度量，但與 MADGap 具有相同的目標(biāo)，即組距離比。該指標(biāo)計(jì)算兩個(gè)平均距離，然后計(jì)算它們的比率。我們首先將節(jié)點(diǎn)放在相對(duì)于它們的標(biāo)簽的特定組中。然后，為了構(gòu)建我們的比率的提名者，我們計(jì)算每兩組節(jié)點(diǎn)之間的成對(duì)距離，然后對(duì)所得距離求平均值。至于分母，我們計(jì)算每個(gè)組的平均距離，然后計(jì)算平均值。

比例小意味著嵌入不同分組的節(jié)點(diǎn)之間的平均距離較小，因此我們可能會(huì)在分組的嵌入方面進(jìn)行混合，這就是過平滑的證明。

我們的目標(biāo)是保持一個(gè)高的組距離比，以在節(jié)點(diǎn)的嵌入方面有不同的類別，這將簡化我們的下游任務(wù)。

有解決方案來克服過度平滑嗎？

一個(gè)直接的監(jiān)管規(guī)則？現(xiàn)在我們已經(jīng)量化了過度平滑問題，你可能會(huì)認(rèn)為我們的工作被終止了，在我們的損失目標(biāo)中添加這個(gè)度量作為一個(gè)規(guī)則就足夠了。剩下的問題是，在我們的訓(xùn)練會(huì)話的每次迭代中計(jì)算這些度量（上面提到的）可能會(huì)耗費(fèi)計(jì)算成本，因?yàn)槲覀冃枰L問我們的圖中的所有訓(xùn)練節(jié)點(diǎn)，然后進(jìn)行一些距離計(jì)算，處理二次縮放的節(jié)點(diǎn)對(duì)（C（2，n） = n * （n -1） / 2 = O（n2））一個(gè)間接的解決方案？

因此，所有討論過平滑問題的論文都考慮用其他更容易實(shí)現(xiàn)和對(duì)過平滑有影響的間接解決方案來克服這個(gè)計(jì)算問題。我們不會(huì)廣泛討論這些解決方案，但您將在下面找到其中一些參考資料。至于我們的例子，我們將討論Kaixiong Zhou 等人提出的可微群歸一化［6］。

DGN將節(jié)點(diǎn)分組，并對(duì)其進(jìn)行獨(dú)立歸一化，輸出新的下一層嵌入矩陣。這個(gè)額外的層是用來優(yōu)化前面定義的組距離比或Rgroup。實(shí)際上，在一個(gè)組內(nèi)嵌入節(jié)點(diǎn)的歸一化使得它們的嵌入非常相似（減少了Rgroup的分子），而這些使用可訓(xùn)練參數(shù)的縮放和移動(dòng)使得來自不同組的嵌入不同（增加了Rgroup的分子）。

為什么有效？第一次看論文，沒看到加入這個(gè)歸一化層和優(yōu)化Rgrou比之間的聯(lián)系，后來我觀察到這一層一方面使用了一個(gè)可訓(xùn)練的分配矩陣，因此它有來自我們的損失函數(shù)，因此指導(dǎo)將完美情況下的節(jié)點(diǎn)分配給它們的真實(shí)類。

另一方面，我們還有平移和縮放參數(shù)，它們也由我們的損失函數(shù)引導(dǎo)。那些用于將一組嵌入到另一組的不同嵌入的參數(shù)因此有助于下游任務(wù)。

總結(jié)

這篇文章可能很長，但它只觸及了圖神經(jīng)網(wǎng)絡(luò)及其問題的表面，我試圖從 GNN 的小探索開始，并展示它們?nèi)绾?- 使用如此簡單的機(jī)制 - 解鎖我們無法想到的潛在應(yīng)用其他 DL 架構(gòu)的上下文。

這種簡單性受到許多阻礙其表達(dá)能力的問題的限制（至少目前來說），研究人員的目標(biāo)是克服它，以尋求利用圖數(shù)據(jù)的全部力量。至于我，我閱讀了不同的論文，討論了一些 GNN 的限制和瓶頸，但將它們統(tǒng)一起來的一個(gè)共同點(diǎn)是，所有這些問題都可以與我們用來訓(xùn)練圖模型的主要機(jī)制相關(guān)聯(lián)，即消息傳遞。

我可能不是專家，但我必須提出一些問題。繼續(xù)列舉這些問題并試圖解決它們真的值得嗎？既然我們?nèi)蕴幱谶@樣一個(gè)有趣領(lǐng)域的第一次迭代中，為什么不考慮一種新機(jī)制并嘗試一下呢？

作者：Anas AIT AOMAR原文地址：https://towardsdatascience.com/over-smoothing-issue-in-graph-neural-network-bddc8fbc2472

翻譯（轉(zhuǎn)自）：DeepHub IMBA

編輯：jq