圖神經(jīng)網(wǎng)絡(luò)將深度學(xué)習(xí)的預(yù)測能力應(yīng)用于豐富的數(shù)據(jù)結(jié)構(gòu)中，這些數(shù)據(jù)結(jié)構(gòu)將物體及其對應(yīng)關(guān)系描述為圖中用線連成的點。

當(dāng)兩種技術(shù)相融合，就可以創(chuàng)造出一些新的和奇妙的事物，比如手機和瀏覽器融合成了智能手機。

當(dāng)今，開發(fā)者正在將 AI 發(fā)現(xiàn)規(guī)律的能力應(yīng)用于大型圖數(shù)據(jù)庫，這些數(shù)據(jù)庫存儲著包含各數(shù)據(jù)點之間關(guān)系的信息。兩者組合成被稱為圖神經(jīng)網(wǎng)絡(luò)（GNN）的強大新工具。

什么是圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)將深度學(xué)習(xí)的預(yù)測能力應(yīng)用于豐富的數(shù)據(jù)結(jié)構(gòu)中，這些數(shù)據(jù)結(jié)構(gòu)將物體及其對應(yīng)關(guān)系描述為圖中用線連成的點。

在圖神經(jīng)網(wǎng)絡(luò)中，被稱為“節(jié)點”的數(shù)據(jù)點通過被稱為“邊”的線連接，各種元素均以數(shù)學(xué)形式表達(dá)，這使機器學(xué)習(xí)算法可以在節(jié)點、邊或整個圖的層面做出有用的預(yù)測。

圖神經(jīng)網(wǎng)絡(luò)能做什么

越來越多的公司正在使用 GNN 改進(jìn)藥物研發(fā)、欺詐檢測和推薦系統(tǒng)。這些以及更多其他應(yīng)用都依賴于尋找數(shù)據(jù)點之間的關(guān)系規(guī)律。

研究人員正在探索 GNN 在計算機圖形學(xué)、網(wǎng)絡(luò)安全、基因組學(xué)和材料科學(xué)中的用例。近期的一篇論文描述了 GNN 如何利用圖形式的交通地圖改進(jìn)對到達(dá)時間的預(yù)測。

許多科學(xué)和工業(yè)領(lǐng)域已在圖數(shù)據(jù)庫中儲存了有價值的數(shù)據(jù)。通過深度學(xué)習(xí)，他們可以訓(xùn)練預(yù)測模型，從圖中挖掘出新穎的洞察。

許多科學(xué)和工業(yè)領(lǐng)域的知識都可以用圖來表達(dá)

亞馬遜云科技（AWS）高級首席科學(xué)家 George Karypis 在今年早些時候的講座中表示：“GNN 是深度學(xué)習(xí)研究中最熱門的領(lǐng)域。越來越多的應(yīng)用正在使用 GNN 來提高其性能?！?/p>

很多人都深表贊同。斯坦福大學(xué)副教授 Jure Leskovec 表示：“GNN 正在引得越來越多的關(guān)注，它們可以靈活地建立復(fù)雜關(guān)系的模型，而這是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)所做不到的?！彼谘葜v中展示了下面的這張 AI 論文圖表，里面提到了 GNN。

誰在使用圖神經(jīng)網(wǎng)絡(luò)？

亞馬遜在 2017 年表示正在使用 GNN 來檢測欺詐。2020 年，亞馬遜推出了供外部用戶用于欺詐檢測、推薦系統(tǒng)等應(yīng)用的公共 GNN 服務(wù)。

為了維持客戶的高度信任，亞馬遜搜索引擎采用 GNN 來檢測惡意賣家、買家和產(chǎn)品。借助 NVIDIA GPU，該搜索引擎能夠探索具有數(shù)千萬個節(jié)點和數(shù)億條邊的圖，并同時將訓(xùn)練時間從 24 小時縮短到 5 小時。

葛蘭素史克 AI 全球負(fù)責(zé)人 Kim Branson 在 GNN 研討會的某場小組討論會上表示，生物制藥公司葛蘭素史克維護(hù)著擁有近 5000 億個節(jié)點的知識圖譜，該圖譜被用于該公司的許多機器語言模型中。

LinkedIn 高級軟件工程師 Jaewon Yang 在該研討會的另一場座談會上表示，LinkedIn 使用 GNN 提供社交推薦，并了解人的技能與其工作職位之間的關(guān)系

NVIDIA 杰出工程師 Joe Eaton 表示：“GNN 是通用工具，我們每年都會開發(fā)一些新的 GNN 應(yīng)用?！蹦壳?Joe Eaton 正在領(lǐng)導(dǎo)將加速計算應(yīng)用于 GNN 的團(tuán)隊。他表示“我們甚至都還沒有觸及到 GNN 的表層功能?！?/p>

另一個跡象也表明了人們對 GNN 的興趣——Leskovec 在斯坦福大學(xué)教授 GNN 的課程視頻已突破 70 萬次瀏覽量。

GNN 如何工作？

到目前為止，深度學(xué)習(xí)主要集中在圖像和文本上。這兩種結(jié)構(gòu)化數(shù)據(jù)可以被描述為單詞序列或像素網(wǎng)格。相比之下，圖是非結(jié)構(gòu)化的，因此可以是任何形狀或尺寸，并包含圖像、文本等任何類型的數(shù)據(jù)。

GNN 使用被稱為信息傳遞的流程將圖組織起來，以便機器學(xué)習(xí)算法的使用。

信息傳遞將關(guān)于鄰近節(jié)點的信息嵌入到每個節(jié)點中。AI 模型利用嵌入的信息來尋找規(guī)律并進(jìn)行預(yù)測。

三類 GNN 中的數(shù)據(jù)流示例

例如，推薦系統(tǒng)使用將節(jié)點嵌入 GNN 的方式來匹配客戶和產(chǎn)品；欺詐檢測系統(tǒng)使用邊緣嵌入來發(fā)現(xiàn)可疑交易；藥物發(fā)現(xiàn)模型通過比較整個分子圖來找出它們之間的反應(yīng)。

GNN 還有兩個獨特之處：它們使用稀疏數(shù)學(xué)，而且模型通常只有兩到三層。其他 AI 模型通常使用密集數(shù)學(xué)并且有數(shù)百個神經(jīng)網(wǎng)絡(luò)層。

GNN 流程在輸入圖后輸出預(yù)測

GNN 的發(fā)展史

意大利研究人員在 2009 年發(fā)表的論文中首次將這種神經(jīng)網(wǎng)絡(luò)命名為“圖神經(jīng)網(wǎng)絡(luò)”。但直到八年之后，阿姆斯特丹的兩位研究人員才使用被稱為“圖卷積網(wǎng)絡(luò)”（GCN）的圖神經(jīng)網(wǎng)絡(luò)變體展示了這種神經(jīng)網(wǎng)絡(luò)的力量。GCN 也是當(dāng)今最流行的 GNN 之一。

GCN 啟發(fā)了 Leskovec 和他的兩個斯坦福大學(xué)研究生創(chuàng)造出 GraphSage——一個展示信息傳遞功能新工作方式的 GNN。2017 年夏天，擔(dān)任 Pinterest 首席科學(xué)家的 Leskovec 對此 GNN 進(jìn)行了測試。

GraphSage 開創(chuàng)了在 GNN 中傳遞信息的強大聚合技術(shù)

他們所創(chuàng)建的 PinSage 是包含 30 億節(jié)點和 180 億邊的推薦系統(tǒng)，這超過了當(dāng)時的其他 AI 模型。

如今，Pinterest 將 PinSage 應(yīng)用于整個公司的 100 多個用例。該公司高級機器學(xué)習(xí)工程師 Andrew Zhai 于在線座談會上表示：“沒有 GNN，Pinterest 就不會有今天的吸引力?！?/p>

與此同時，其他變體和混合體也紛紛出現(xiàn)，包括圖循環(huán)網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)等。GAT 借用 Transformer 模型中定義的注意力機制，幫助 GNN 專注于數(shù)據(jù)集中最相關(guān)的部分。

GNN 變體家族樹概覽圖

擴展圖神經(jīng)網(wǎng)絡(luò)

展望未來，GNN 需要進(jìn)行全方位的擴展。

還未維護(hù)圖數(shù)據(jù)庫的企業(yè)機構(gòu)需要使用工具來減輕創(chuàng)建這些復(fù)雜數(shù)據(jù)結(jié)構(gòu)的工作負(fù)擔(dān)。

使用圖數(shù)據(jù)庫的人都知道在某些情況下這些數(shù)據(jù)庫會不斷擴大，單個節(jié)點或邊緣會被嵌入成千上萬個特征。這為通過網(wǎng)絡(luò)將存儲于子系統(tǒng)中的海量數(shù)據(jù)集高效加載到處理器中帶來了挑戰(zhàn)。

Eaton 表示：“我們正在提供各種產(chǎn)品來最大程度地提高加速系統(tǒng)的內(nèi)存、計算帶寬與吞吐量，以便解決此類數(shù)據(jù)加載和擴展問題?！?/p>

作為這項工作的內(nèi)容之一，NVIDIA 在 GTC 上宣布，除了深度圖庫（DGL）之外，公司現(xiàn)在還支持 PyTorch Geometric（PyG）。這是當(dāng)下最流行的兩個 GNN 軟件框架。

NVIDIA 提供多種工具加快 GNN 的構(gòu)建

經(jīng)過 NVIDIA 優(yōu)化的 DGL 和 PyG 容器針對 NVIDIA GPU 進(jìn)行了性能調(diào)整和測試。它們?yōu)殚_始使用 GNN 開發(fā)應(yīng)用的人提供了方便的平臺。
審核編輯：郭婷