近幾年，神經(jīng)網(wǎng)絡因其強大的表征能力逐漸取代傳統(tǒng)的機器學習成為自然語言處理任務的基本模型。然而經(jīng)典的神經(jīng)網(wǎng)絡模型只能處理歐氏空間中的數(shù)據(jù)，自然語言處理領(lǐng)域中，篇章結(jié)構(gòu)，句法甚至句子本身都以圖數(shù)據(jù)的形式存在。因此，圖神經(jīng)網(wǎng)絡引起學界廣泛關(guān)注，并在自然語言處理的多個領(lǐng)域成功應用。該文對圖神經(jīng)網(wǎng)絡在自然語言處理領(lǐng)域中的應用進行了系統(tǒng)性的綜述， 首先介紹了圖神經(jīng)網(wǎng)絡的核心思想并梳理了三種經(jīng)典方法： 圖循環(huán)網(wǎng)絡，圖卷積網(wǎng)絡和圖注意力網(wǎng)絡;然后在具體任務中，詳細描述了如何根據(jù)任務特性構(gòu)建合適的圖結(jié)構(gòu)以及如何合理運用圖結(jié)構(gòu)表示模型。該文認為，相比專注于探索圖神經(jīng)網(wǎng)絡的不同結(jié)構(gòu)，探索如何以圖的方式建模不同任務中的關(guān)鍵信息，是圖神經(jīng)網(wǎng)絡未來工作中更具普遍性和學術(shù)價值的一個研究方向。

自然語言處理中存在很多圖結(jié)構(gòu)。如圖 1 所 示，從句法結(jié)構(gòu)、語義關(guān)系圖、篇章關(guān)系結(jié)構(gòu)，到實體和共指結(jié)構(gòu)、關(guān)系結(jié)構(gòu)和知識圖譜，都是一般的圖結(jié) 構(gòu)。一個句子內(nèi)部的字、詞相鄰關(guān)系也構(gòu)成圖結(jié)構(gòu)。形式上，圖由節(jié)點和邊組成。本文以三類圖結(jié)構(gòu)為 例，觀察自然語言處理任務中相關(guān)的節(jié)點和邊，以便 更具體地了解這些任務所對應的圖。

第一類圖結(jié)構(gòu)是基于句子的語言結(jié)構(gòu)。已有研究表明，對關(guān)系提取、機器翻譯和其他自然語言處理 任務，句法［1］、語義［2］和篇章結(jié)構(gòu)信息［3］非常有用。因此，一種在句子上定義圖結(jié)構(gòu)的方法是把每個詞 當作節(jié)點，并把句法依存關(guān)系、語義角色和篇章關(guān)系 等節(jié)點之間的鏈接當作邊。我們可以在相鄰單詞之 間添加多種類型的邊，從而形成一種具有統(tǒng)一節(jié)點 類型但具有不同邊類型的圖。

第二類圖結(jié)構(gòu)是基于文檔中的實體和共指關(guān)系 連接構(gòu)建的，如圖 1（a）所示。對于機器閱讀的任 務，有研究表明，為了正確地回答問題，對參考文檔 中不同的句子進行推理可能是有必要的［4］。一種為 這種推理構(gòu)建圖結(jié)構(gòu)的方法是把文檔中提及的實體 作為節(jié)點，并把實體之間的共指鏈接作為邊。另外， 除了文本文檔中的實體，知識圖譜中的實體也可以 使用圖神經(jīng)網(wǎng)絡進行編碼，如圖1（b）所示。

第三類圖結(jié)構(gòu)可以是結(jié)構(gòu)預測任務中的圖結(jié)構(gòu) 本身。具體來說，如圖1（c）所示，多個基準結(jié)構(gòu)化 預測模型給出的候選圖結(jié)構(gòu)可以使用圖神經(jīng)網(wǎng)絡表 示來進行重排序。這樣的候選圖結(jié)構(gòu)可以由一個基 線系統(tǒng)的k 個最優(yōu)的輸出結(jié)構(gòu)組成。當將這些結(jié) 構(gòu)整合在一起形成一個圖時，可以提取其中有用的 特征，以便從中進一步預測出正確的輸出［5］。

近年來，圖神經(jīng)網(wǎng)絡已被廣泛運用到自然語言 處理的大多數(shù)任務當中。有一系列的工作利用圖神 經(jīng)網(wǎng)絡對上述幾類任務中的圖結(jié)構(gòu)進行編碼，從而 更充分地得到相關(guān)表示，能有效地解決相關(guān)問題。本綜述系統(tǒng)性地匯報相關(guān)工作，首先介紹圖神經(jīng)網(wǎng) 絡的基本概念，然后根據(jù)不同任務，分別介紹圖網(wǎng)絡 在自然語言處理中的應用。與已有的圖神經(jīng)網(wǎng)絡綜 述［6-7］相比，本文針對自然語言處理進行詳細闡述。
編輯：lyn