一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

大型語(yǔ)言模型與知識(shí)圖譜:機(jī)遇與挑戰(zhàn)

深度學(xué)習(xí)自然語(yǔ)言處理 ? 來(lái)源:深度學(xué)習(xí)自然語(yǔ)言處理 ? 2023-08-24 14:50 ? 次閱讀

大模型與知識(shí)圖譜是知識(shí)表達(dá)的一體兩面,如何結(jié)合兩者是近期業(yè)界關(guān)注的焦點(diǎn)。來(lái)自英國(guó)愛(ài)丁堡大學(xué)等學(xué)者最新《大模型與知識(shí)圖譜》的簡(jiǎn)述,討論了大模型和知識(shí)圖譜的互相促進(jìn)的方式,值得關(guān)注!

e0da825c-4247-11ee-a2ef-92fbcf53809c.png

大型語(yǔ)言模型(LLMs)已在知識(shí)表示領(lǐng)域——以及全球——引起軒然大波。這一轉(zhuǎn)折點(diǎn)標(biāo)志著從明確的知識(shí)表示到對(duì)明確知識(shí)和參數(shù)知識(shí)雙方的混合表示的重新關(guān)注。在這篇立場(chǎng)論文中,我們將討論社區(qū)中關(guān)于LLMs(參數(shù)知識(shí))和知識(shí)圖譜(明確知識(shí))的一些常見(jiàn)爭(zhēng)論點(diǎn),并推測(cè)這種重新關(guān)注帶來(lái)的機(jī)會(huì)、愿景以及相關(guān)的研究主題和挑戰(zhàn)。

大型語(yǔ)言模型與知識(shí)圖譜:機(jī)遇與挑戰(zhàn)

大型語(yǔ)言模型(LLMs)在知識(shí)表示(KR)和整個(gè)世界中引起了軒然大波,因?yàn)樗鼈冊(cè)趶V泛的自然語(yǔ)言任務(wù)中展現(xiàn)出了人類(lèi)級(jí)別的表現(xiàn),包括一些需要人類(lèi)知識(shí)的任務(wù)。在此之后,人們逐漸開(kāi)始接受某些語(yǔ)言模型的參數(shù)中可能存在知識(shí)的可能性。LLMs的到來(lái)標(biāo)志著知識(shí)計(jì)算的時(shí)代的開(kāi)始,在這個(gè)時(shí)代中,KR內(nèi)的推理概念擴(kuò)大到基于各種知識(shí)表示的許多計(jì)算任務(wù)。

這對(duì)知識(shí)表示領(lǐng)域來(lái)說(shuō)是一個(gè)巨大的步驟。長(zhǎng)時(shí)間以來(lái),人們關(guān)注的是明確的知識(shí),例如嵌入在文本中的知識(shí),有時(shí)也被稱(chēng)為非結(jié)構(gòu)化數(shù)據(jù),以及以結(jié)構(gòu)化形式存在的知識(shí),例如在數(shù)據(jù)庫(kù)和知識(shí)圖譜(KGs)[123]中。從歷史上看,人們長(zhǎng)時(shí)間使用文本將他們的知識(shí)從一代傳遞到另一代,直到大約20世紀(jì)60年代,研究者開(kāi)始研究知識(shí)表示以更好地理解自然語(yǔ)言,并開(kāi)發(fā)了早期系統(tǒng),例如MIT的ELIZA[180]。在21世紀(jì)初,知識(shí)表示和語(yǔ)義網(wǎng)社區(qū)合作標(biāo)準(zhǔn)化了廣泛使用的知識(shí)表示語(yǔ)言,例如RDF[121]和OWL[55],在網(wǎng)絡(luò)規(guī)模上,使用它們,大規(guī)模的知識(shí)庫(kù)被更廣泛地稱(chēng)為KGs[123],由于它們有用的圖結(jié)構(gòu),實(shí)現(xiàn)了邏輯推理和基于圖的學(xué)習(xí)。與LLMs的到來(lái)相伴的這一轉(zhuǎn)折點(diǎn),標(biāo)志著從明確的知識(shí)表示向?qū)γ鞔_知識(shí)和參數(shù)知識(shí)兩者的混合表示的重新關(guān)注的范式轉(zhuǎn)變。

作為明確知識(shí)表示的流行方法,KGs現(xiàn)在被廣泛研究用于與基于Transformer的LLMs結(jié)合,包括像BERT[39]和RoBERTa[104]這樣的預(yù)訓(xùn)練掩碼語(yǔ)言模型(PLMs),以及更近期的生成性LLMs,如GPT系列[23]和LLaMA[165]。一些工作使用LLMs增強(qiáng)KGs,例如,知識(shí)提取、KG構(gòu)建和精煉,而其他工作使用KGs增強(qiáng)LLMs,例如,訓(xùn)練和提示學(xué)習(xí),或知識(shí)增強(qiáng)。在本文中,考慮到LLMs用于KGs和KGs用于LLMs的兩個(gè)方向,我們提出了一個(gè)從明確知識(shí)表示到對(duì)明確知識(shí)和參數(shù)知識(shí)兩者的混合表示的重新關(guān)注的轉(zhuǎn)變的更好理解。

一個(gè)相關(guān)的調(diào)查論文[204]對(duì)使用LLMs進(jìn)行KG構(gòu)建和推理進(jìn)行了全面的審查,而我們的工作為這一轉(zhuǎn)折點(diǎn)提供了更深入的視角,不僅考慮了關(guān)系性KGs,還考慮了使用本體論作為模式的KGs,以及其他維度的結(jié)構(gòu)化知識(shí),包括表格數(shù)據(jù)[183]和數(shù)值[122]。在LLMs和KGs的交叉點(diǎn)上的其他研究與我們論文中涵蓋的主題有輕微的重疊;例如,使用LLMs作為KGs的研究[5],使用KGs增強(qiáng)LLMs的研究[185],或者在三個(gè)與知識(shí)相關(guān)的任務(wù)上比較GPT-4、ChatGPT和SOTA微調(diào)方法——實(shí)體、關(guān)系和事件提取,鏈接預(yù)測(cè)和KG問(wèn)題回答[204]。總的來(lái)說(shuō),這些論文中沒(méi)有一個(gè)深入探討這一轉(zhuǎn)折點(diǎn)的具體應(yīng)用的含義。為此,本文總結(jié)了社區(qū)內(nèi)的常見(jiàn)爭(zhēng)議點(diǎn),介紹了在KGs和LLMs集成的一系列主題上的最新技術(shù),并進(jìn)一步提出了機(jī)會(huì)和挑戰(zhàn)。

知識(shí)圖譜與大型語(yǔ)言模型

結(jié)合參數(shù)知識(shí)和明確知識(shí)的可用性所帶來(lái)的機(jī)會(huì)和愿景,本節(jié)我們將按照四個(gè)不同的主題對(duì)使用LLMs和KGs的最近發(fā)展進(jìn)行分類(lèi)、總結(jié)和展示。

1. LLMs 用于KGs:知識(shí)提取和規(guī)范化

KG的構(gòu)建是一個(gè)復(fù)雜的任務(wù),要求從包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)在內(nèi)的廣泛來(lái)源收集和整合信息。傳統(tǒng)方法通常依賴(lài)于為處理每種數(shù)據(jù)類(lèi)型而特別設(shè)計(jì)的模塊,并在內(nèi)容多樣且結(jié)構(gòu)異質(zhì)時(shí)面臨困難。然而,LLMs 是在廣泛的信息來(lái)源上訓(xùn)練的強(qiáng)大的NLP模型,使它們非常適合知識(shí)提取任務(wù)。本節(jié)介紹了使用LLMs從各種來(lái)源進(jìn)行知識(shí)提取的工作。

實(shí)體解析與匹配

實(shí)體解析(也稱(chēng)為實(shí)體匹配、實(shí)體鏈接或?qū)嶓w對(duì)齊)是將出現(xiàn)在多個(gè)異構(gòu)數(shù)據(jù)集中并指向同一個(gè)實(shí)體的信息片段進(jìn)行鏈接的過(guò)程[46, 50, 126]。過(guò)去的研究主要集中在為扁平結(jié)構(gòu)化數(shù)據(jù)所代表的實(shí)體之間開(kāi)發(fā)方法和相似性度量。然而,針對(duì)KGs的半結(jié)構(gòu)化數(shù)據(jù)的實(shí)體解析是一個(gè)相對(duì)較新的主題,受到的關(guān)注明顯較少。

實(shí)體對(duì)齊的方法可以分為通用方法和基于嵌入的類(lèi)別。通用方法,例如CG-MuAlign[203],使用圖神經(jīng)網(wǎng)絡(luò)(GNNs)執(zhí)行多類(lèi)型實(shí)體對(duì)齊,利用鄰近信息并泛化到未標(biāo)記的類(lèi)型,以及REA[129],通過(guò)結(jié)合對(duì)抗性訓(xùn)練與GNNs來(lái)解決多語(yǔ)言實(shí)體對(duì)齊問(wèn)題,以應(yīng)對(duì)輸入的噪聲標(biāo)記數(shù)據(jù)問(wèn)題?;谇度氲膶?shí)體對(duì)齊方法將圖實(shí)體之間的符號(hào)相似性減少到一個(gè)向量空間中,以消除圖組件的異質(zhì)性并促進(jìn)推理[156]。具體來(lái)說(shuō),總共有23種代表性的嵌入對(duì)齊方法在性能方面進(jìn)行了交叉比較,但也顯示它們?cè)?a target="_blank">標(biāo)簽階段需要大量的監(jiān)督。

因此,在未來(lái)的研究調(diào)查中,非監(jiān)督方法和能夠處理大規(guī)模KGs的方法是非常受歡迎的。LLMs在KGs的實(shí)體解析和鏈接中有多種用途[7]。首先,LLMs可以幫助標(biāo)記訓(xùn)練數(shù)據(jù),這通常是一個(gè)資源密集且耗時(shí)的步驟,阻礙了KGs的實(shí)體對(duì)齊性能。類(lèi)似于[146]使用生成對(duì)抗網(wǎng)絡(luò)(GANs)來(lái)減少標(biāo)記數(shù)據(jù)的努力,我們認(rèn)為L(zhǎng)LMs可以提供KGs的標(biāo)記樣本并控制上述基于嵌入的方法的性能。

此外,LLMs可以幫助構(gòu)建穩(wěn)固的實(shí)體匹配規(guī)則語(yǔ)料庫(kù),只要在圖設(shè)置中定義了一個(gè)聲明性形式化的邏輯語(yǔ)言L。這種邏輯語(yǔ)言的訓(xùn)練數(shù)據(jù)應(yīng)作為輸入提供給LLMs,類(lèi)似于在文本語(yǔ)料庫(kù)中可供消費(fèi)的SQL語(yǔ)句。然而,需要進(jìn)行提示工程以產(chǎn)生對(duì)于像DBpedia[9]和Wikidata[169]這樣的實(shí)際大規(guī)模KGs有意義的規(guī)則語(yǔ)料庫(kù)。

可以設(shè)想為這些實(shí)際的大規(guī)模KGs提供實(shí)體匹配規(guī)則日志,與這些KGs的查詢(xún)?nèi)罩绢?lèi)似[18, 19]。總之,實(shí)體對(duì)齊和匹配是完整知識(shí)推理的必要前處理步驟。將通用實(shí)體鏈接方法與基于嵌入的方法相結(jié)合,以及利用LLM驅(qū)動(dòng)的規(guī)則和標(biāo)記數(shù)據(jù)構(gòu)造,都可以更好地整合LLMs與知識(shí)推理[66]。后者整合LLMs和知識(shí)推理也可以提高性能,從而使模型的輸出可解釋和可解釋?zhuān)⑻钛a(bǔ)符號(hào)和統(tǒng)計(jì)AI之間的差距。

知識(shí)從表格數(shù)據(jù)中的提取

從數(shù)據(jù)庫(kù)、網(wǎng)頁(yè)表格和CSV文件等表格數(shù)據(jù)中提取知識(shí)是構(gòu)建KG的常見(jiàn)方式。對(duì)于已知語(yǔ)義(元信息)的表格,可以定義和使用啟發(fā)式規(guī)則將其數(shù)據(jù)轉(zhuǎn)化為KG事實(shí)。然而,現(xiàn)實(shí)世界的表格通常具有不明確的語(yǔ)義,重要的元信息(如表格名稱(chēng)和列標(biāo)題)未明確定義。與此同時(shí),在可以提取預(yù)期的知識(shí)之前,通常需要檢索、探索、整合和策劃原始數(shù)據(jù)。

近年來(lái),基于Transformer的LM已被研究用于處理表格,尤其是它們的文本內(nèi)容。它們可以被應(yīng)用于表格向量表示作為其他預(yù)測(cè)任務(wù)的基礎(chǔ)[168]。TURL [38] 是一個(gè)典型的表格表示學(xué)習(xí)方法,使用BERT [39],已應(yīng)用于多個(gè)任務(wù),如單元格填充、列類(lèi)型注釋和關(guān)系提取。類(lèi)似地,RPT [162] 使用BERT和GPT進(jìn)行表格表示模型的預(yù)訓(xùn)練。Starmie [47] 使用模板將列轉(zhuǎn)化為序列,并使用可聯(lián)合和不可聯(lián)合的列對(duì)作為樣本微調(diào)BERT,采用對(duì)比學(xué)習(xí)框架。

在所有表格處理任務(wù)中,語(yǔ)義表格注釋?zhuān)撟⑨寣⒈砀駭?shù)據(jù)匹配到KG組件(例如,表格列到KG類(lèi),表格單元格到KG實(shí)體,列間關(guān)系到KG屬性)可以直接應(yīng)用于提取知識(shí),用于KG的構(gòu)建和填充[103, 76]。已經(jīng)有幾次嘗試使用LLMs進(jìn)行這些任務(wù)。Doduo [155] 將表格序列化為一個(gè)令牌序列,并訓(xùn)練BERT來(lái)預(yù)測(cè)列類(lèi)型和列間關(guān)系。Korini等人[86]提示ChatGPT來(lái)注釋語(yǔ)義列類(lèi)型。當(dāng)任務(wù)特定的示例極少或不存在時(shí),ChatGPT的性能與RoBERTa模型相似。

盡管已經(jīng)注意到了利用LLMs進(jìn)行表格數(shù)據(jù)處理和KG構(gòu)建,但仍然有很大的研究空間,特別是面臨以下挑戰(zhàn):

將表格內(nèi)容轉(zhuǎn)化為序列:表格或帶有其結(jié)構(gòu)化上下文的表格元素需要被轉(zhuǎn)化為一個(gè)序列,然后才能輸入到LLMs中。對(duì)于不同的LLM利用場(chǎng)景,如微調(diào)LLMs、帶提示的LLM推斷以及LLM的指導(dǎo)調(diào)整,需要不同的轉(zhuǎn)換方法。

表示和利用非文本的表格數(shù)據(jù):表格通常不僅包含長(zhǎng)文本和短文本,還包含如數(shù)字和日期等其他類(lèi)型的數(shù)據(jù)。還有很少的工作考慮這些數(shù)據(jù)。

提取表格知識(shí):LLMs主要用于處理和理解表格,但很少應(yīng)用于知識(shí)提取的最后步驟。已知OntoGPT[25]使用ChatGPT從文本中提取實(shí)例以填充本體,但對(duì)于表格沒(méi)有對(duì)應(yīng)的工具。除了實(shí)例之外,提取關(guān)系事實(shí)更具挑戰(zhàn)性。

從文本中提取知識(shí)

從文本中提取知識(shí)通常涉及自動(dòng)提取實(shí)體及其相關(guān)關(guān)系,傳統(tǒng)的流水線處理大量的句子和文檔。這個(gè)過(guò)程使原始文本轉(zhuǎn)化為可行動(dòng)的知識(shí),有助于各種應(yīng)用,如信息檢索、推薦系統(tǒng)和KG構(gòu)建。LLMs的語(yǔ)言理解能力已經(jīng)增強(qiáng)了這一過(guò)程。例如,

命名實(shí)體識(shí)別 (NER) 和實(shí)體鏈接:如4.1.1節(jié)所述,涉及識(shí)別和分類(lèi)文本中的命名實(shí)體(如人、組織和地點(diǎn))并將其鏈接(更多內(nèi)容參見(jiàn)4.2.1節(jié))到KGs。

關(guān)系提?。宏P(guān)注識(shí)別和分類(lèi)實(shí)體之間的關(guān)系,利用LLMs的零射擊和少射擊的上下文學(xué)習(xí)技術(shù)[178, 93]。

事件提?。褐荚跈z測(cè)和分類(lèi)文本中提到的事件,包括其參與者和屬性[170, 194]。

語(yǔ)義角色標(biāo)記 (SRL):涉及識(shí)別句子中實(shí)體所扮演的角色,如主語(yǔ)、賓語(yǔ)和謂語(yǔ)[148, 199]。

這些方法允許LLMs從文本中提取信息,無(wú)需在特定領(lǐng)域進(jìn)行大量的明確培訓(xùn),從而提高其多功能性和適應(yīng)性。此外,LLMs已經(jīng)證明了在從英語(yǔ)之外的語(yǔ)言中提取知識(shí)的能力,包括低資源語(yǔ)言,為跨語(yǔ)言知識(shí)提取鋪平了道路,并使LLMs能夠在多種語(yǔ)言環(huán)境中使用[89]。

此外,對(duì)LLMs的提示引入了NLP領(lǐng)域的新范式和可能性。LLMs可以生成高質(zhì)量的合成數(shù)據(jù),然后可以用來(lái)微調(diào)較小的特定任務(wù)模型。這種方法,稱(chēng)為合成數(shù)據(jù)生成,解決了有限的訓(xùn)練數(shù)據(jù)可用性的挑戰(zhàn),并提高了模型的性能[77, 163]。此外,指導(dǎo)調(diào)整已經(jīng)成為一種強(qiáng)大的技術(shù),其中LLMs被訓(xùn)練在由明確指令描述的數(shù)據(jù)集上,使得能夠更精確地控制和定制它們的行為以適應(yīng)特定的任務(wù)[178, 174]。

還有,對(duì)于構(gòu)建特定領(lǐng)域的KGs,風(fēng)險(xiǎn)更高,因此對(duì)生成的文本(由專(zhuān)家)進(jìn)行審查是必要的。然而,這仍然是一個(gè)進(jìn)步,因?yàn)槿斯ぷ⑨尩某杀镜陀谌祟?lèi)文本生成。除了訓(xùn)練和利用這些LLM所需的大量計(jì)算資源需求之外,還存在各種挑戰(zhàn),包括在第2節(jié)中提到的挑戰(zhàn)。更具體地說(shuō),以下未來(lái)的方向仍然是可能的:

從非常長(zhǎng)的文檔中有效提?。寒?dāng)前的LLMs無(wú)法一次處理像小說(shuō)這樣的非常長(zhǎng)的文檔。在這方面,可以進(jìn)一步改進(jìn)建模長(zhǎng)范圍依賴(lài)性和執(zhí)行語(yǔ)料級(jí)信息提取。

高覆蓋率信息提?。簬缀跛械奶崛×魉€都關(guān)注高精度。然而,高回報(bào)率被忽視或未被充分探索[152]。建立具有高精度和高回報(bào)率的知識(shí)提取器將是建立終身信息提取器的一個(gè)巨大飛躍。

4.2 LLMs 用于 KGs

知識(shí)圖譜構(gòu)建我們強(qiáng)調(diào)了 LLMs 在改進(jìn)知識(shí)圖譜構(gòu)建中的重要作用,重點(diǎn)關(guān)注這個(gè)領(lǐng)域的當(dāng)前趨勢(shì)、問(wèn)題和未回答的問(wèn)題。我們首先討論鏈接預(yù)測(cè),這是根據(jù)現(xiàn)有的知識(shí)圖譜生成新事實(shí)的一種方法。接下來(lái),我們考察歸納鏈接預(yù)測(cè),一種預(yù)測(cè)未見(jiàn)關(guān)系的三元組的方法。我們的關(guān)注點(diǎn)隨后轉(zhuǎn)移到一種更為近期的方法,其中三元組直接從 LLM 的參數(shù)知識(shí)中提取出來(lái)。作為這個(gè)部分的結(jié)論,我們討論了基于 LLM 的知識(shí)圖譜構(gòu)建方法的挑戰(zhàn)。這些挑戰(zhàn)涉及到長(zhǎng)尾實(shí)體、數(shù)值以及這些方法的精確性問(wèn)題。

4.3 LLMs 用于 KGs 本體模式構(gòu)建

一個(gè)知識(shí)圖譜通常配備有一個(gè)本體模式(包括規(guī)則、約束和本體)以確保質(zhì)量,使知識(shí)訪問(wèn)更加容易,支持推理等。同時(shí),一個(gè)獨(dú)立的本體,通常代表概念性知識(shí)有時(shí)帶有邏輯,也可以被視為一個(gè)知識(shí)圖譜。在這部分,我們介紹 LLMs 被應(yīng)用于學(xué)習(xí)本體模式和管理本體的主題。

4.4 KGs 為 LLMs 提供支持:訓(xùn)練與訪問(wèn)

LLMs在 4.1 到 4.3 節(jié)中,我們討論了使用 LLMs 為 KGs 提供支持的三個(gè)不同方面。在本節(jié)中,我們將研究相反的方向,即使用 KGs 為 LLMs 提供支持。這里有幾個(gè)維度。首先,KGs 可以用作 LLMs 的訓(xùn)練數(shù)據(jù)。其次,KGs 中的三元組可以用于構(gòu)建提示。最后但同樣重要的是,KGs 可以用作檢索增強(qiáng)語(yǔ)言模型中的外部知識(shí)。

4.5 應(yīng)用

將 KGs 和 LLMs 集成到統(tǒng)一的方法中具有巨大的潛力,因?yàn)樗鼈兊慕M合能夠相互增強(qiáng)并以有價(jià)值的方式互補(bǔ)。例如,KGs 提供非常準(zhǔn)確和明確的知識(shí),這對(duì)于某些應(yīng)用(如醫(yī)療保?。┲陵P(guān)重要,而 LLMs 由于缺乏事實(shí)知識(shí)而被批評(píng)導(dǎo)致幻覺(jué)和不準(zhǔn)確的事實(shí)。其次,LLMs 缺乏可解釋性,相反,由于 KGs 具有符號(hào)推理能力,它們能夠生成可解釋的結(jié)果。另一方面,從非結(jié)構(gòu)化文本構(gòu)建 KGs 很困難,并且存在不完整性,因此,可以利用 LLMs 通過(guò)文本處理來(lái)解決這些挑戰(zhàn)。各種應(yīng)用都采用了這種將 LLMs 與 KGs 結(jié)合的方法,如醫(yī)療助手,問(wèn)題回答系統(tǒng)[188]或 ChatBots,以及可持續(xù)性等。

結(jié)論

近年來(lái),大型語(yǔ)言模型(LLMs)的進(jìn)展為知識(shí)圖譜(KG)研究標(biāo)志了一個(gè)重要的轉(zhuǎn)折點(diǎn)。盡管如何結(jié)合它們的優(yōu)勢(shì)的重要問(wèn)題仍然懸而未決,但這為未來(lái)的研究提供了令人興奮的機(jī)會(huì)。社區(qū)已經(jīng)迅速調(diào)整其研究重點(diǎn),新的論壇如 KBC-LM 工作坊 [79] 和 LM-KBC 挑戰(zhàn) [151] 已經(jīng)出現(xiàn),資源大量轉(zhuǎn)向知識(shí)提取、整合和使用的混合方法。我們提出以下建議:

不要因?yàn)榉妒降霓D(zhuǎn)變而丟棄 KG:對(duì)于一系列可靠性或安全關(guān)鍵的應(yīng)用,結(jié)構(gòu)化知識(shí)仍然是不可或缺的,我們已經(jīng)概述了 KGs 和 LLMs 如何相互促進(jìn)的多種方式。KGs 是留下來(lái)的,不要僅僅因?yàn)闀r(shí)尚而拋棄它們。

殺掉你的寵兒:LLMs 已經(jīng)大大推進(jìn)了 KG 和本體構(gòu)建管道中的許多任務(wù),甚至使一些任務(wù)過(guò)時(shí)。對(duì)最為確立的管道組件進(jìn)行嚴(yán)格的審查,并不斷地與基于 LLM 的最新技術(shù)進(jìn)行比較。

保持好奇,保持批判:LLMs 無(wú)疑是過(guò)去幾年 AI 研究的最令人印象深刻的產(chǎn)物。盡管如此,公眾和研究文獻(xiàn)中都存在大量夸大的聲明和期望,人們應(yīng)該保持適度的批判反思。特別是,對(duì)所謂的幻覺(jué)問(wèn)題的根本解決方法尚未出現(xiàn)。

過(guò)去已經(jīng)結(jié)束,讓我們開(kāi)始新的旅程:由 LLMs 觸發(fā)的進(jìn)展以前所未有的方式顛覆了這個(gè)領(lǐng)域,并使得進(jìn)入這個(gè)領(lǐng)域有了重要的捷徑。在與知識(shí)計(jì)算相關(guān)的領(lǐng)域開(kāi)始新的征程,現(xiàn)在是最好的時(shí)機(jī)。盡管目前的轉(zhuǎn)變方向廣泛開(kāi)放,但隨著研究者繼續(xù)探索混合方法的潛力和挑戰(zhàn),我們可以期待在知識(shí)的表示和處理上看到新的突破,這將對(duì)從知識(shí)計(jì)算到 NLP、AI 乃至其他領(lǐng)域產(chǎn)生深遠(yuǎn)的影響。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 語(yǔ)言模型
    +關(guān)注

    關(guān)注

    0

    文章

    557

    瀏覽量

    10606
  • 自然語(yǔ)言
    +關(guān)注

    關(guān)注

    1

    文章

    291

    瀏覽量

    13569
  • 知識(shí)圖譜
    +關(guān)注

    關(guān)注

    2

    文章

    132

    瀏覽量

    7893

原文標(biāo)題:大型語(yǔ)言模型與知識(shí)圖譜:機(jī)遇與挑戰(zhàn)

文章出處:【微信號(hào):zenRRan,微信公眾號(hào):深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    知識(shí)圖譜相關(guān)應(yīng)用

    智慧風(fēng)控的背后,是知識(shí)圖譜的深度應(yīng)用
    發(fā)表于 08-22 14:40

    KGB知識(shí)圖譜基于傳統(tǒng)知識(shí)工程的突破分析

    知識(shí)圖譜本質(zhì)上是一種大規(guī)模的語(yǔ)義網(wǎng)絡(luò)。從2012年谷歌提出知識(shí)圖譜,知識(shí)圖譜一直在快速發(fā)展,其應(yīng)用也不再局限于“語(yǔ)義網(wǎng)絡(luò)”范疇?,F(xiàn)如今的知識(shí)圖譜在實(shí)際應(yīng)用中,主要作為大數(shù)據(jù)時(shí)代的
    發(fā)表于 10-22 15:25

    KGB知識(shí)圖譜技術(shù)能夠解決哪些行業(yè)痛點(diǎn)?

    `知識(shí)圖譜和行業(yè)應(yīng)用相互結(jié)合時(shí),需要充分發(fā)揮其技術(shù)特色,且要適用于現(xiàn)在的企業(yè)應(yīng)用。那么知識(shí)圖譜的應(yīng)用可以解決那些行業(yè)問(wèn)題呢?知識(shí)圖譜在行業(yè)應(yīng)用方面實(shí)現(xiàn)的突破具體表現(xiàn)在知識(shí)表示、
    發(fā)表于 10-30 15:34

    知識(shí)圖譜的三種特性評(píng)析

    的三個(gè)重要方面包括目標(biāo)的動(dòng)態(tài)性。比如根據(jù)已有的知識(shí)圖譜模型,能否一個(gè)在人工不干預(yù)的情況下,自動(dòng)識(shí)別出同類(lèi)事物;當(dāng)一名影星再婚之后,是否可以在人工不干預(yù)的情況下,自動(dòng)識(shí)別他的新配偶。(2) 目標(biāo)的多樣化
    發(fā)表于 12-13 13:57

    KGB知識(shí)圖譜幫助金融機(jī)構(gòu)進(jìn)行風(fēng)險(xiǎn)預(yù)判

    。面對(duì)客戶(hù)群體意識(shí)較為淡薄,客戶(hù)對(duì)還款義務(wù)不明確。同時(shí)存在一些不法分子的惡意詐騙。對(duì)于信用風(fēng)險(xiǎn)的控制,貫穿于信貸生命全周期,在控制風(fēng)險(xiǎn)方面,除了銀行的實(shí)地考察,銀行可以借助KGB知識(shí)圖譜模型對(duì)金融行業(yè)進(jìn)行
    發(fā)表于 06-18 23:07

    KGB知識(shí)圖譜通過(guò)智能搜索提升金融行業(yè)分析能力

    的自然語(yǔ)言處理技術(shù),搭建專(zhuān)業(yè)領(lǐng)域深度知識(shí)圖譜,快速學(xué)習(xí)并迭代金融行業(yè)最新知識(shí),構(gòu)建一二級(jí)市場(chǎng)眾多實(shí)體模型,智能化的理解用戶(hù)的搜索請(qǐng)求,使得搜索更簡(jiǎn)單更準(zhǔn)確,滿(mǎn)足用戶(hù)找數(shù)據(jù)、找報(bào)告的需求
    發(fā)表于 06-22 21:23

    一種融合知識(shí)圖譜和協(xié)同過(guò)濾的混合推薦模型

    針對(duì)現(xiàn)有協(xié)同過(guò)濾推薦算法可解釋性不高和基于內(nèi)容推薦信息提取困難、推薦效率低等問(wèn)題,提岀一種融合知識(shí)圖譜和協(xié)同過(guò)濾的混合推薦模型,其由知識(shí)圖譜與深度學(xué)習(xí)結(jié)合模型RCKD和
    發(fā)表于 03-16 14:37 ?10次下載
    一種融合<b class='flag-5'>知識(shí)圖譜</b>和協(xié)同過(guò)濾的混合推薦<b class='flag-5'>模型</b>

    知識(shí)圖譜與訓(xùn)練模型相結(jié)合和命名實(shí)體識(shí)別的研究工作

    本次將分享ICLR2021中的三篇投遞文章,涉及知識(shí)圖譜與訓(xùn)練模型相結(jié)合和命名實(shí)體識(shí)別(NER)的研究工作。 文章概覽 知識(shí)圖譜語(yǔ)言理解的聯(lián)合預(yù)訓(xùn)練(JAKET: Joint
    的頭像 發(fā)表于 03-29 17:06 ?4587次閱讀
    <b class='flag-5'>知識(shí)圖譜</b>與訓(xùn)練<b class='flag-5'>模型</b>相結(jié)合和命名實(shí)體識(shí)別的研究工作

    知識(shí)圖譜與BERT相結(jié)合助力語(yǔ)言模型

    with Informative Entities。 他們認(rèn)為現(xiàn)存的預(yù)訓(xùn)練語(yǔ)言模型很少會(huì)考慮與知識(shí)圖譜(Knowledge Graph: KG)相結(jié)合,
    的頭像 發(fā)表于 05-19 15:47 ?3979次閱讀
    <b class='flag-5'>知識(shí)圖譜</b>與BERT相結(jié)合助力<b class='flag-5'>語(yǔ)言</b><b class='flag-5'>模型</b>

    知識(shí)圖譜Knowledge Graph構(gòu)建與應(yīng)用

    一、知識(shí)圖譜概論 ? ? ? ? 1.1知識(shí)圖譜的起源和歷史 1.2知識(shí)圖譜的發(fā)展史——從框架、本體論、語(yǔ)義網(wǎng)、鏈接數(shù)據(jù)到知識(shí)圖譜 1.3知識(shí)圖譜
    發(fā)表于 09-17 10:12 ?797次閱讀

    知識(shí)圖譜知識(shí)圖譜的典型應(yīng)用

    作者:?cooldream2009? 我們構(gòu)建知識(shí)圖譜的目的,在于利用知識(shí)圖譜來(lái)做一些事情。有效利用知識(shí)圖譜,就是要考慮知識(shí)圖譜的具備的能力,知識(shí)圖
    的頭像 發(fā)表于 10-18 09:26 ?2430次閱讀
    <b class='flag-5'>知識(shí)圖譜</b>:<b class='flag-5'>知識(shí)圖譜</b>的典型應(yīng)用

    如何利用大模型構(gòu)建知識(shí)圖譜?如何利用大模型操作結(jié)構(gòu)化數(shù)據(jù)?

    上圖是之前,我基于大語(yǔ)言模型構(gòu)建知識(shí)圖譜的成品圖,主要是將金融相關(guān)的股票、人物、漲跌幅之類(lèi)的基金信息抽取出來(lái)。
    的頭像 發(fā)表于 08-24 16:56 ?1.9w次閱讀
    如何利用大<b class='flag-5'>模型</b>構(gòu)建<b class='flag-5'>知識(shí)圖譜</b>?如何利用大<b class='flag-5'>模型</b>操作結(jié)構(gòu)化數(shù)據(jù)?

    知識(shí)圖譜與大模型結(jié)合方法概述

    本文作者 |? 黃巍 《Unifying Large Language Models and Knowledge Graphs: A Roadmap》總結(jié)了大語(yǔ)言模型知識(shí)圖譜融合的三種路線:1
    的頭像 發(fā)表于 10-29 15:50 ?1281次閱讀
    <b class='flag-5'>知識(shí)圖譜</b>與大<b class='flag-5'>模型</b>結(jié)合方法概述

    利用知識(shí)圖譜與Llama-Index技術(shù)構(gòu)建大模型驅(qū)動(dòng)的RAG系統(tǒng)(下)

    對(duì)于語(yǔ)言模型(LLM)幻覺(jué),知識(shí)圖譜被證明優(yōu)于向量數(shù)據(jù)庫(kù)。知識(shí)圖譜提供更準(zhǔn)確、多樣化、有趣、邏輯和一致的信息,減少了LLM中出現(xiàn)幻覺(jué)的可能性。
    的頭像 發(fā)表于 02-22 14:13 ?1511次閱讀
    利用<b class='flag-5'>知識(shí)圖譜</b>與Llama-Index技術(shù)構(gòu)建大<b class='flag-5'>模型</b>驅(qū)動(dòng)的RAG系統(tǒng)(下)

    知識(shí)圖譜與大模型之間的關(guān)系

    在人工智能的廣闊領(lǐng)域中,知識(shí)圖譜與大模型是兩個(gè)至關(guān)重要的概念,它們各自擁有獨(dú)特的優(yōu)勢(shì)和應(yīng)用場(chǎng)景,同時(shí)又相互補(bǔ)充,共同推動(dòng)著人工智能技術(shù)的發(fā)展。本文將從定義、特點(diǎn)、應(yīng)用及相互關(guān)系等方面深入探討知識(shí)圖譜與大
    的頭像 發(fā)表于 07-10 11:39 ?1738次閱讀