命名實(shí)體識(shí)別(NER)是自然語(yǔ)言處理(NLP)中的基本任務(wù)之一

LSTM網(wǎng)絡(luò)是整體思路同樣是先對(duì)給定的訓(xùn)練樣本進(jìn)行學(xué)習(xí)，確定模型中的參數(shù)，再利用該模型對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè)得到最后的輸出。由于測(cè)試輸出的準(zhǔn)確性現(xiàn)階段達(dá)不到...

2018-04-18 標(biāo)簽：深度學(xué)習(xí)自然語(yǔ)言NLP 6.0萬 0

計(jì)算文本相似度幾種最常用的方法，并比較它們之間的性能

估計(jì)兩句子間語(yǔ)義相似度最簡(jiǎn)單的方法就是求句子中所有單詞詞嵌入的平均值，然后計(jì)算兩句子詞嵌入之間的余弦相似性。很顯然，這種簡(jiǎn)單的基準(zhǔn)方法會(huì)帶來很多變數(shù)。我...

2018-06-30 標(biāo)簽：編碼器數(shù)據(jù)集自然語(yǔ)言 5.4萬 0

RNN及其變體LSTM和GRU

下圖為一個(gè)雙層LSTM對(duì)三個(gè)不同的單詞的反應(yīng)分布。該LSTM每層有600個(gè)細(xì)胞狀態(tài)單元，基于Penn Tree Bank（PTB）數(shù)據(jù)集訓(xùn)練。我們可以看...

2018-06-30 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)自然語(yǔ)言 1.7萬 0

語(yǔ)言模型、RNN、LSTM以及NLP數(shù)據(jù)預(yù)處理流程

我使用了知名的BeautifulSoup包，我花了5分鐘，看了Justin Yek寫的How to scrape websites with Pytho...

2018-06-30 標(biāo)簽：機(jī)器學(xué)習(xí)python自然語(yǔ)言 1.4萬 0

新的深度神經(jīng)網(wǎng)絡(luò)模型命名為CODEnn

CODEnn接受代碼、描述作為輸入，預(yù)測(cè)其嵌入表示的余弦相似度。具體而言，每個(gè)訓(xùn)練樣本為一個(gè)三元組(C, D+, D-)，其中C為代碼片段，D+為正面樣...

2018-07-13 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)源代碼自然語(yǔ)言 1.2萬 0

什么是LlamaIndex？LlamaIndex數(shù)據(jù)框架的特點(diǎn)和功能

LlamaIndex是一個(gè)數(shù)據(jù)框架，用于讓基于LLM的應(yīng)用程序攝取、結(jié)構(gòu)化和訪問私有或領(lǐng)域特定的數(shù)據(jù)。它提供Python和Typescript版本。

2024-01-05 標(biāo)簽：接口SQL數(shù)據(jù)庫(kù) 1.1萬 0

自然語(yǔ)言處理技術(shù)入門之基于關(guān)鍵詞生成文本的技術(shù)實(shí)現(xiàn)過程

本章第一節(jié)就介紹基于關(guān)鍵詞生成一段文本的一些處理技術(shù)。其主要是應(yīng)用關(guān)鍵詞提取、同義詞識(shí)別等技術(shù)來實(shí)現(xiàn)的。下面就對(duì)實(shí)現(xiàn)過程進(jìn)行說明和介紹。

2017-12-26 標(biāo)簽：自然語(yǔ)言 1.1萬 0

LSTM的核心構(gòu)成,實(shí)際中“門”的效果如何？

門是否真的具有我們上述描述的意義呢？這也是我們這篇論文的出發(fā)點(diǎn)。為了探究這個(gè)問題，我們分析了IWSLT14德語(yǔ)-英語(yǔ)的翻譯任務(wù)，這個(gè)翻譯任務(wù)的模型是基于...

2018-07-02 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯自然語(yǔ)言 1.0萬 0

文本分類任務(wù)介紹和傳統(tǒng)機(jī)器學(xué)習(xí)方法

Static vs. Non-static Representations: 在大部分的語(yǔ)料上，CNN-non-static都優(yōu)于CNN-static，...

2018-07-17 標(biāo)簽：文本分類機(jī)器學(xué)習(xí)自然語(yǔ)言 9876 0

機(jī)器學(xué)習(xí)入門需要掌握的八大基礎(chǔ)概念

自然語(yǔ)言處理對(duì)于許多機(jī)器學(xué)習(xí)方法來說是一個(gè)常用的概念，它使得計(jì)算機(jī)理解并使用人所讀或所寫的語(yǔ)言來執(zhí)行操作成為了可能。

2018-01-30 標(biāo)簽：AI數(shù)據(jù)庫(kù)機(jī)器學(xué)習(xí) 9681 0