摘要：屬性是實(shí)體的重要組成部分，因此如何自動(dòng)獲取實(shí)體的屬性一直為知識(shí)圖譜領(lǐng)域的研究者所關(guān)注。由哈爾濱工業(yè)大學(xué)社會(huì)計(jì)算與信息檢索研究中心推出的開(kāi)放域中文知識(shí)圖譜《大詞林》是通過(guò)從文本中自動(dòng)挖掘?qū)嶓w及實(shí)體間的關(guān)系而構(gòu)建而成，因此如何自動(dòng)為實(shí)體添加屬性也必然成為構(gòu)建《大詞林》所必須研究的問(wèn)題之一。本文通過(guò)學(xué)習(xí)《大詞林》中實(shí)體的概念層次結(jié)構(gòu)和屬性的表示，提出了一種基于注意力機(jī)制的屬性自動(dòng)獲取方案。其想法可簡(jiǎn)述為，實(shí)體的屬性可以通過(guò)檢查它的概念類(lèi)別來(lái)獲得，因?yàn)閷?shí)體可以作為它的概念類(lèi)別的實(shí)例并繼承它們的屬性。實(shí)驗(yàn)結(jié)果顯示，我們的方法能夠?yàn)椤洞笤~林》中的實(shí)體自動(dòng)添加屬性，最終可以使大詞林中實(shí)體屬性的覆蓋率達(dá)到95%以上。

1. 簡(jiǎn)介

屬性在知識(shí)圖譜的構(gòu)建中起著至關(guān)重要的作用，屬性不僅能夠豐富實(shí)體的概念、揭示實(shí)體的特性，并且在知識(shí)庫(kù)中連接了不同的實(shí)體（例如：“director”是概念類(lèi)“film”的屬性，它也連接了類(lèi)“film”和“person”的實(shí)體）。圖1是《大詞林》中實(shí)體“蘋(píng)果”的概念層次路徑和該概念路徑下“蘋(píng)果”的屬性。事實(shí)上，我們可以合理的作此假設(shè)：一個(gè)實(shí)體具有何種屬性通常是由其概念決定的，而不是由其本身決定。例如“蘋(píng)果”和“鴨梨”均具有顏色的屬性，是由其二者均具有“水果/植物/生物/物”這一概念路徑?jīng)Q定的，而與“蘋(píng)果”和“鴨梨”本身的標(biāo)簽無(wú)太多關(guān)系。因此，可以認(rèn)為實(shí)體是它的概念的實(shí)例，實(shí)體的屬性可以通過(guò)檢查它的概念體系（或路徑）來(lái)獲得。

在本文中，我們提出一種基于實(shí)體的層次化概念體系的屬性自動(dòng)獲取方法，以自動(dòng)獲取實(shí)體的屬性提高知識(shí)庫(kù)的構(gòu)建效率。與僅僅使用一個(gè)詞代表實(shí)體的概念相比（例如“university”表示實(shí)體是一所高等教育的學(xué)校），用具有層次結(jié)構(gòu)的概念路徑（幾個(gè)表示概念的單詞連接為一條路徑，例如“institute/school/university”，前者是后者的上位詞）更為明確和可靠。例如，“university”也可能指大學(xué)的教師和學(xué)生的主體，在“institute”和“school”的幫助下，實(shí)體是一所大學(xué)的意義得到細(xì)化。因此，我們使用概念路徑來(lái)表示實(shí)體概念的層次結(jié)構(gòu)，而不是僅僅使用一個(gè)單詞。假設(shè)我們已經(jīng)具有一個(gè)屬性的集合（此集合可以通過(guò)已有知識(shí)庫(kù)中的屬性構(gòu)建而成），受近期知識(shí)圖譜表示學(xué)習(xí)的啟發(fā)[1][2][3][4]，我們考慮將《大詞林》所具有的層次化的概念體系和屬性集合中的屬性映射到連續(xù)的向量空間，從而將屬性獲取問(wèn)題轉(zhuǎn)化為預(yù)測(cè)任務(wù)，即從屬性集合中為《大詞林》中的實(shí)體預(yù)測(cè)合適的屬性。

圖1《大詞林》中“蘋(píng)果”的層次化概念體系

傳統(tǒng)方法大多直接將屬性分配給實(shí)體，這給多角色實(shí)體帶來(lái)了諸多不便。在《大詞林》中，每個(gè)實(shí)體平均有兩個(gè)概念。例如，實(shí)體“蘋(píng)果”既可以指“水果”，也可以指“公司”，甚至可以指“電影”。然而，屬性不像屬性值一樣具體，其更具有一般性。比如對(duì)于蘋(píng)果的屬性-“顏色”，其屬性值是“綠色”，而其他水果的“顏色”不一定是綠色，但是其他水果也擁有“顏色”這一屬性。對(duì)于屬于同一概念的實(shí)體，它們幾乎共享相同的屬性集。這意味著與將屬性分配給實(shí)體相比，將屬性分配給其概念似乎更有意義。

多角色實(shí)體在概念和屬性之間產(chǎn)生的屬性分配歧義問(wèn)題是我們工作的主要挑戰(zhàn)。舉例來(lái)說(shuō)，通過(guò)已有的知識(shí)庫(kù)（例如百度百科或維基百科），我們很容易能夠得知“蘋(píng)果”有一個(gè)“導(dǎo)演”的屬性，但很難獲取與這個(gè)屬性相關(guān)聯(lián)的概念。而事實(shí)上，實(shí)體的屬性又是由其概念決定的，例如在“蘋(píng)果”具有的多種含義中，如“水果”、“電影”或“公司”等，直接與屬性“導(dǎo)演”相關(guān)的概念是“電影”。為此，我們提出了一種基于注意力模型的層次化概念體系表示方法，來(lái)對(duì)實(shí)體的概念體系和屬性之間的映射進(jìn)行學(xué)習(xí)，以解決此問(wèn)題。

本文以百度百科的屬性數(shù)據(jù)為基礎(chǔ)構(gòu)建屬性集合，并利用百度百科中的屬性向《大詞林》中的實(shí)體添加屬性。我們隨機(jī)抽取了《大詞林》中687392個(gè)實(shí)體，有395327個(gè)實(shí)體具有至少一個(gè)屬性，余下292065個(gè)實(shí)體沒(méi)有任何屬性。，如果單純依靠百度百科向《大詞林》中的實(shí)體提供屬性，那么屬性對(duì)實(shí)體的覆蓋率為57.51%。但是如果考慮到具有相同概念的實(shí)體共享類(lèi)似的屬性，并依此進(jìn)行補(bǔ)全，那么屬性的覆蓋率可提高至 98.48%。

圖2 屬性推薦圖例

以圖2為例，如果依靠百度百科，只有部分實(shí)體擁有完整的屬性，但是由于缺失屬性的實(shí)體和已有屬性的實(shí)體共享相同的概念，因此可以將已知的屬性推薦給缺少屬性的實(shí)體。圖3顯示了《大詞林》中“止痛片”概念下的部分實(shí)體，其中“玄胡止痛片”和“祛止痛片”不具有任何屬性，通過(guò)概念補(bǔ)全后這兩個(gè)實(shí)體擁有了相應(yīng)的屬性，結(jié)果如圖4所示。

圖3 “止痛片”概念下的部分實(shí)體和其屬性

圖4 通過(guò)概念補(bǔ)全后的實(shí)體屬性

2. 模型介紹

本文中涉及的屬性獲取任務(wù)是通過(guò)給定{E,C,A,R1,R2}來(lái)預(yù)測(cè)R3，并通過(guò)R3來(lái)完成根據(jù)實(shí)體的概念路徑將屬性集合中的屬性推薦給實(shí)體的任務(wù)。E代表《大詞林》中的實(shí)體集合，C代表《大詞林》中的概念集合（也稱(chēng)為上位詞），A代表屬性集合（由百度百科獲取），R1代表每個(gè)實(shí)體的上位詞路徑（也稱(chēng)為概念路徑），R2代表每個(gè)實(shí)體具有的屬性（通過(guò)百度百科直接映射得到），R3是實(shí)體的概念路徑與屬性的對(duì)應(yīng)關(guān)系，整個(gè)過(guò)程如圖5所示。

圖5 用符號(hào)表示的任務(wù)定義

2.1 通過(guò)LSTM實(shí)現(xiàn)概念路徑的表示學(xué)習(xí)

本文使用LSTM[5]來(lái)學(xué)習(xí)概念路徑的表示。圖4顯示了一個(gè)使用LSTM建模概念路徑的方法。其中LSTM-cell[6]由淺灰色框標(biāo)出，序列模型的最終輸出由深灰色框標(biāo)出，LSTM應(yīng)用于概念路徑“/抽象事物/機(jī)構(gòu)/教育機(jī)構(gòu)/學(xué)校/大學(xué)”上，最終輸出為概念路徑的向量表示。

圖6 用于概念路徑表示的LSTM網(wǎng)絡(luò)

2.2 利用注意力模型完成概念路徑的疊加嵌入表示

如前所述，我們可以將百度百科中的屬性添加到《大詞林》與百度百科同現(xiàn)的實(shí)體上而完成屬性的初步填充，但是經(jīng)過(guò)抽樣統(tǒng)計(jì)發(fā)現(xiàn)這種方法僅僅能夠?yàn)椤洞笤~林》不到60%的實(shí)體添加上屬性。基于屬性初步填充的結(jié)果，我們可以得到一組(Pe, a)形式的元組，其中Pe是給定實(shí)體e的概念路徑集合，a是實(shí)體的屬性，然而我們并不知道Pe中的哪一條路徑具有屬性a。為了確定實(shí)體的概念路徑和屬性的映射關(guān)系，進(jìn)而將屬性映射到對(duì)應(yīng)的實(shí)體上，我們提出一種解決方法，它由三部分組成：

概念路徑的表示學(xué)習(xí)（圖5介紹）；

概念路徑上的選擇注意力機(jī)制以確定概念路徑和屬性的對(duì)應(yīng)關(guān)系；

基于翻譯的嵌入模型預(yù)測(cè)實(shí)體的屬性。整體結(jié)構(gòu)如圖7所示。

圖7 屬性預(yù)測(cè)整體解決方案

與傳統(tǒng)的基于翻譯的嵌入方法專(zhuān)注于實(shí)體-關(guān)系-實(shí)體三元組(h, r, t)[1]不同，我們所期望獲得的是由實(shí)體不同的概念路徑及其對(duì)應(yīng)屬性形成的二元元組(p, a)。因此，不像三元組(h, r, t)中有r這樣的顯式算子，我們?yōu)槊總€(gè)屬性構(gòu)造一個(gè)映射矩陣，其映射過(guò)程為pMa = a，其中p，a，Ma分別是概念路徑、屬性及映射矩陣的嵌入向量。

因?yàn)橐阎膬H僅是某個(gè)實(shí)體具有哪些屬性，這樣必須退而求其次通過(guò)LSTM學(xué)習(xí)每個(gè)實(shí)體的所有概念別路徑的表示，顯然的不同的概念路徑對(duì)某一實(shí)體是否具有某個(gè)屬性的影響是不一樣的。例如，“水果”這一概念能夠確定實(shí)體“蘋(píng)果”可以具有屬性“顏色”，而“電影”這一概念能夠確定實(shí)體“蘋(píng)果”應(yīng)該具有“制片人”這一屬性。這樣，我們就不能對(duì)每個(gè)概念路徑一視同仁。由圖7所示，我們用選擇注意力模型去建模概念路徑和屬性的對(duì)應(yīng)關(guān)系，以盡可能降低訓(xùn)練中產(chǎn)生的噪聲。通過(guò)計(jì)算每一條概念路徑和要預(yù)測(cè)屬性的匹配度來(lái)為每條路徑分配權(quán)重。最終使用學(xué)習(xí)到的權(quán)重和每條路徑的表示結(jié)果加權(quán)求和來(lái)確定最終的這個(gè)實(shí)體的路徑表示pe。

2.3 訓(xùn)練方法

根據(jù)上文的描述，我們希望當(dāng)概念路徑p擁有a這一屬性時(shí)，pMa和要預(yù)測(cè)的屬性a的距離最短；相反，當(dāng)p不具有屬性a時(shí)，則距離較長(zhǎng)。為實(shí)現(xiàn)此目標(biāo)，我們使用L1或者L2范數(shù)來(lái)度量?jī)烧咧g的距離，記為d(pMa,a)。利用元組(Pe, a)的集合作為訓(xùn)練集?，Pe是對(duì)于一個(gè)給定實(shí)體e的概念路徑集合，a是實(shí)體e的屬性。然后我們?cè)谟?xùn)練集上最小化邊界距離來(lái)共同學(xué)習(xí)概念路徑和屬性的表示：

γ> 0是一個(gè)邊界超參數(shù)，a和a’分別代表實(shí)體屬性的正例與負(fù)例。

3. 實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集介紹

實(shí)驗(yàn)數(shù)據(jù)由《大詞林》中抽樣得到，具體方法如下:

隨機(jī)抽取20000個(gè)實(shí)體及其概念路徑。

利用百度百科向這些實(shí)體填充屬性。

對(duì)屬性進(jìn)行低頻過(guò)濾，保留至少出現(xiàn)在20個(gè)實(shí)體中的屬性。

隨機(jī)選取3000個(gè)實(shí)體作為測(cè)試集驗(yàn)證“基于實(shí)體預(yù)測(cè)屬性”這一任務(wù)的效果，同時(shí)隨機(jī)選取240條概念路徑作為測(cè)試集驗(yàn)證“基于概念路徑預(yù)測(cè)屬性”這一任務(wù)的效果。數(shù)據(jù)集的統(tǒng)計(jì)如表1所示，APE和APC分別代表基于實(shí)體和基于概念路徑的屬性預(yù)測(cè)任務(wù)。

表1 數(shù)據(jù)集統(tǒng)計(jì)結(jié)果

3.2 實(shí)體屬性預(yù)測(cè)(APE)

從實(shí)體的角度來(lái)看，預(yù)測(cè)其屬性無(wú)疑是必要和重要的。因此，我們提出了實(shí)體屬性預(yù)測(cè)任務(wù)(APE)，以預(yù)測(cè)給定實(shí)體的屬性。當(dāng)然由于實(shí)體可能具有多重含義，因此我們也希望能夠?qū)傩院推鋵?duì)應(yīng)的概念路徑聯(lián)系起來(lái)（APC任務(wù)）。

由于實(shí)體被視為其概念的實(shí)例，因此僅通過(guò)檢查實(shí)體的概念就可以獲得實(shí)體的屬性集。在APE中，對(duì)于給定的實(shí)體，我們首先獲取其概念路徑集合，然后使用它們來(lái)預(yù)測(cè)實(shí)體的屬性。Hits@k評(píng)價(jià)方法適用于APE任務(wù)，因?yàn)榭梢赃^(guò)濾掉某些同義的屬性,比如“中文名(中文名字)”,“外文名(英文名字)”,等等，結(jié)果如表2所示。

表2 APE任務(wù)的Hit@k值

除了在全部實(shí)體上檢查Hits@k之外，實(shí)驗(yàn)中還考慮了不同概念類(lèi)別的實(shí)體(即，“物”、“抽象”、“人”)。表2括號(hào)中的數(shù)字為對(duì)應(yīng)不同類(lèi)別的實(shí)體的數(shù)量。結(jié)果表明，近76%的實(shí)體在前20個(gè)預(yù)測(cè)屬性中至少獲得了一個(gè)正確的屬性。對(duì)于“人”類(lèi)型的實(shí)體，Hits@k的結(jié)果除Hits@1外均超過(guò)80%。另外兩類(lèi)的結(jié)果與整體評(píng)價(jià)相比較差。

事實(shí)上，表2中的結(jié)果是從以百度百科中的屬性數(shù)據(jù)為基礎(chǔ)向《大詞林》做映射而構(gòu)建的測(cè)試集上得到的，但是由于百度百科中的實(shí)體過(guò)多依賴于人工眾包而《大詞林》中的實(shí)體則完全由文本中自動(dòng)抽取得到，因此兩者存在不對(duì)等，從而引入了大量的噪聲而影響了評(píng)測(cè)的準(zhǔn)確率。當(dāng)然，更加有效的方法是人工構(gòu)建測(cè)試集，但是這樣太費(fèi)時(shí)費(fèi)力了。

由于實(shí)體具有多重含義，因此我們更加關(guān)心我們的模型是否能夠通過(guò)預(yù)測(cè)屬性來(lái)區(qū)分實(shí)體的多重含義。這里我們僅僅通過(guò)抽樣的方式構(gòu)建了實(shí)體“蘋(píng)果”和“利華”的屬性預(yù)測(cè)結(jié)果，如圖8所示。沿箭頭方向，我們給出了實(shí)體不同的概念路徑對(duì)應(yīng)的屬性預(yù)測(cè)結(jié)果，以“蘋(píng)果”為例，其在《大詞林》中具有“水果”、“電影”、“公司”三種含義，而左側(cè)的“科”、“拉丁學(xué)名”等則代表“蘋(píng)果”的部分屬性。圖中的顏色代表根據(jù)注意力機(jī)制對(duì)不同概念路徑的預(yù)測(cè)屬性的注意程度，單元格顏色越深表示權(quán)重越大。

從注意力矩陣可以看出，屬性大多出現(xiàn)在其對(duì)應(yīng)的概念路徑上，在不相關(guān)的概念路徑上權(quán)重幾乎為零。如概念路徑“/抽象事物/電影”引起了屬性“片長(zhǎng)、出品公司、制片人”的注意。但是，也有一些錯(cuò)誤的理解，例如屬性“中文名”和“外文名”只出現(xiàn)在“人物”或“公司”對(duì)應(yīng)的概念路徑中的一條上，這是不準(zhǔn)確的，因?yàn)閺某ＷR(shí)上來(lái)說(shuō)這兩個(gè)屬性都應(yīng)該被這兩條概念路徑分別包含。幸運(yùn)的是，這種錯(cuò)誤可以被APC任務(wù)所掩蓋，因?yàn)锳PC從實(shí)體的角度來(lái)預(yù)測(cè)屬性。

圖8 多角色實(shí)體屬性預(yù)測(cè)結(jié)果

3.3 概念路徑屬性預(yù)測(cè)(APC)

從概念路徑的角度出發(fā)，我們提出了概念路徑屬性預(yù)測(cè)任務(wù)，以評(píng)估模型將概念路徑映射到屬性的能力。在這個(gè)任務(wù)的預(yù)測(cè)過(guò)程中，我們使用了沒(méi)有針對(duì)概念路徑的選擇性注意力模型，因?yàn)槿蝿?wù)APC中只涉及一個(gè)唯一的概念路徑，因此不需要注意力機(jī)制。

由于中文缺乏標(biāo)準(zhǔn)的“概念類(lèi)別-屬性”對(duì)評(píng)測(cè)數(shù)據(jù)集，我們手動(dòng)標(biāo)注結(jié)果的正確性：top-k預(yù)測(cè)屬性。手動(dòng)標(biāo)注原則如下：

過(guò)濾不準(zhǔn)確的概念路徑。

過(guò)濾掉過(guò)于抽象的概念路徑，例如：“/抽象事物/能力/競(jìng)爭(zhēng)力”。

經(jīng)過(guò)篩選，在P@k評(píng)估中包含了240條待測(cè)試的概念路徑中的184條(見(jiàn)表1)。最終結(jié)果如表3所示，括號(hào)中的數(shù)字為具有過(guò)濾后的概念路徑的實(shí)體的數(shù)量。由結(jié)果可知，可以利用學(xué)習(xí)到的路徑表示來(lái)準(zhǔn)確預(yù)測(cè)概念路徑對(duì)應(yīng)的屬性，全局結(jié)果的P@1的準(zhǔn)確率超過(guò)75%，不同實(shí)體類(lèi)別中P@10的準(zhǔn)確率接近70%。事實(shí)上，這些給定的概念路徑在訓(xùn)練階段是看不到的，但是由結(jié)果顯示屬性可以準(zhǔn)確的映射到相對(duì)應(yīng)的概念路徑上，這表明《大詞林》的構(gòu)建是動(dòng)態(tài)的。我們還從表3的預(yù)測(cè)結(jié)果中列出了一些例子，并在表4中標(biāo)注了中文和英文。注意，這些例子對(duì)應(yīng)的概念屬于不同的領(lǐng)域，但是我們的模型可以準(zhǔn)確地預(yù)測(cè)與這些領(lǐng)域相關(guān)的屬性。

表3 APC任務(wù)的P@k值

表4 不同領(lǐng)域的概念路徑屬性映射情況

4.結(jié)論

屬性是實(shí)體的重要組成部分，屬性添加一直為知識(shí)圖譜研究領(lǐng)域的學(xué)者所關(guān)注。本文圍繞《大詞林》研究了如何為知識(shí)圖譜自動(dòng)添加屬性這一問(wèn)題。通過(guò)聯(lián)合學(xué)習(xí)《大詞林》中實(shí)體的概念層次結(jié)構(gòu)表示和屬性的表示，可以獲得實(shí)體概念至屬性的映射，自動(dòng)地為實(shí)體添加合適的屬性。在實(shí)驗(yàn)階段，我們?cè)O(shè)計(jì)了兩種不同的屬性獲取任務(wù)以驗(yàn)證本文提出的屬性獲取方法的準(zhǔn)確性，包括給定實(shí)體預(yù)測(cè)隸屬于實(shí)體的屬性以及給定實(shí)體的某個(gè)概念預(yù)測(cè)屬于該概念下的屬性。實(shí)驗(yàn)結(jié)果表明，本文提出的屬性獲取方法能夠?qū)傩詼?zhǔn)確地映射到實(shí)體對(duì)應(yīng)的某個(gè)概念下，能夠?qū)崿F(xiàn)自動(dòng)的屬性獲取，提高了知識(shí)庫(kù)的可擴(kuò)展性和提升了知識(shí)庫(kù)的構(gòu)建效率。

參考文獻(xiàn)

[1] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. 2013. Translating embeddings for modeling multi-relational data. In Advances in neural information processing systems, pages 2787–2795.

[2] Yankai Lin, Zhiyuan Liu, Maosong Sun, Yang Liu, and Xuan Zhu. 2015. Learning entity and relation embeddings for knowledge graph completion. In AAAI, pages 2181–2187.

[3] ZhenWang, Jianwen Zhang, Jianlin Feng, and Zheng Chen. 2014. Knowledge graph embedding by translating on hyperplanes. In AAAI, pages 1112–1119.

[4] Han Xiao, Minlie Huang, and Xiaoyan Zhu. 2015. From one point to a manifold: Knowledge graph embedding for precise link prediction. arXiv preprint arXiv:1512.04792.

[5] Sepp Hochreiter and Jürgen Schmidhuber. 1997. Long short-term memory. Neural computation, 9(8):1735–1780.

[6] Alex Graves and Jürgen Schmidhuber. 2005. Framewise phoneme classification with bidirectional lstm and other neural network architectures. Neural Networks, 18(5):602–610.

責(zé)任編輯：xj

原文標(biāo)題：【賽爾原創(chuàng)】如何自動(dòng)地向知識(shí)圖譜中添加屬性？

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。