跨語言提示：改進(jìn)跨語言零樣本思維推理

進(jìn)一步地，提出了Cross-Lingual Self-consistent Prompting (CLSP)，利用不同語言專家的知識和不同語言間更加多樣...

2023-11-08 標(biāo)簽：CLP模型機(jī)器翻譯 933 0

Transformer的主要概念

在本文中，我們將試圖把模型簡化一點(diǎn)，并逐一介紹里面的核心概念，希望讓普通讀者也能輕易理解。 Attention is All You Need： htt...

2023-11-03 標(biāo)簽：編碼模型機(jī)器翻譯 906 0

LLaMA微調(diào)顯存需求減半，清華提出4比特優(yōu)化器

從 GPT-3，Gopher 到 LLaMA，大模型有更好的性能已成為業(yè)界的共識。但相比之下，單個(gè) GPU 的顯存大小卻增長緩慢，這讓顯存成為了大模型訓(xùn)...

2023-09-11 標(biāo)簽：圖像分類機(jī)器翻譯大模型 668 0

掌握基于Transformer的目標(biāo)檢測算法的3個(gè)難點(diǎn)

Transformer來源于自然語言處理領(lǐng)域，首先被應(yīng)用于機(jī)器翻譯。后來，大家發(fā)現(xiàn)它在計(jì)算機(jī)視覺領(lǐng)域效果也很不錯(cuò)，而且在各大排行榜上碾壓CNN網(wǎng)絡(luò)。

2023-08-22 標(biāo)簽：機(jī)器翻譯Transformer自然語言處理 845 0

X-RiSAWOZ: 高質(zhì)量端到端多語言任務(wù)型對話數(shù)據(jù)集

對齊：我們提出了一種混合對齊策略，以確保實(shí)體在話語和信念狀態(tài)中都能被替換為所需的翻譯。具體而言，我們首先嘗試使用基于實(shí)體標(biāo)注構(gòu)建的字典對齊，如果輸出中沒...

2023-07-06 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯數(shù)據(jù)集 984 0

機(jī)器翻譯研究進(jìn)展

機(jī)器翻譯使用計(jì)算機(jī)將一種語言翻譯成另一種語言，具有低成本、高效率和高翻譯質(zhì)量等優(yōu)勢，在語音翻譯、同聲傳譯自動(dòng)化等許多領(lǐng)域得到廣泛應(yīng)用。 隨著雙語語料庫的...

2023-07-06 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)smt 1091 0

為k近鄰機(jī)器翻譯領(lǐng)域自適應(yīng)構(gòu)建可解釋知識庫

為了找到NMT模型的潛在缺陷，構(gòu)建更加可解釋的知識庫，我們提出以局部準(zhǔn)確性這一新概念作為分析角度。其中，局部準(zhǔn)確性又包含兩個(gè)子概念：條目準(zhǔn)確性（entr...

2023-06-13 標(biāo)簽：cpu模型機(jī)器翻譯 822 0

簡述深度學(xué)習(xí)中的Attention機(jī)制

Attention機(jī)制在深度學(xué)習(xí)中得到了廣泛的應(yīng)用，本文通過公式及圖片詳細(xì)講解attention機(jī)制的計(jì)算過程及意義，首先從最早引入attention到...

2023-02-22 標(biāo)簽：機(jī)器翻譯深度學(xué)習(xí)rnn 1978 0

基于選擇機(jī)制的自注意力網(wǎng)絡(luò)模型

自注意力網(wǎng)絡(luò)(SANs)在許多自然語言處理任務(wù)中取得顯著的成功，其中包括機(jī)器翻譯、自然語言推理以及語義角色標(biāo)注任務(wù)。

2020-08-31 標(biāo)簽：機(jī)器翻譯網(wǎng)絡(luò)模型 5207 0

神經(jīng)網(wǎng)絡(luò)時(shí)代，中文分詞還有必要嗎？

這個(gè)問題涉及到的更本質(zhì)的問題，就是語言學(xué)的structure在深度學(xué)習(xí)的框架下有多重要 (因?yàn)樵~是一種基本的語言學(xué)structure)。這個(gè)問題近兩年學(xué)...

2019-07-18 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯深度學(xué)習(xí) 3544 0

2019年冬季CS224N最新課程:基于深度學(xué)習(xí)的自然語言處理

將原始句子送入編碼器RNN，然后將目標(biāo)句子送入解碼器RNN，同時(shí)編碼器RNN最終隱層狀態(tài)會(huì)傳入解碼器RNN的初始隱層狀態(tài)。在解碼器RNN的每一步會(huì)產(chǎn)生下...

2019-05-08 標(biāo)簽：機(jī)器翻譯深度學(xué)習(xí)自然語言處理 3705 0

為大家介紹三個(gè)NLP領(lǐng)域的熱門詞匯

預(yù)訓(xùn)練是通過大量無標(biāo)注的語言文本進(jìn)行語言模型的訓(xùn)練，得到一套模型參數(shù)，利用這套參數(shù)對模型進(jìn)行初始化，再根據(jù)具體任務(wù)在現(xiàn)有語言模型的基礎(chǔ)上進(jìn)行精調(diào)。預(yù)訓(xùn)練...

2019-04-04 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯nlp 3503 0

什么是Transition-based基于轉(zhuǎn)移的框架？

用在生成依存句法樹上，則具體表示為從空狀態(tài)開始，通過動(dòng)作轉(zhuǎn)移到下一個(gè)狀態(tài)，一步一步生成依存句法樹，最后的狀態(tài)保存了一個(gè)完整的依存樹。依存分析就是用來預(yù)測...

2019-03-19 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)框架機(jī)器翻譯 5275 0

為什么要有attention機(jī)制，Attention原理

沒有attention機(jī)制的encoder-decoder結(jié)構(gòu)通常把encoder的最后一個(gè)狀態(tài)作為decoder的輸入（可能作為初始化，也可能作為每一...

2019-03-06 標(biāo)簽：Decoder梯度機(jī)器翻譯 1.7萬 0

深入了解圖神經(jīng)網(wǎng)絡(luò)背后的原理和其強(qiáng)大的表征能力

在圖分類數(shù)據(jù)集上，通過實(shí)驗(yàn)驗(yàn)證我們的理論，其中 GNN 的表達(dá)能力對于捕獲圖結(jié)構(gòu)至關(guān)重要。特別是，我們對基于各種聚合函數(shù)的 GNN 性能進(jìn)行了對比。我們...

2019-03-01 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯GNN 1.1萬 0

如此強(qiáng)大的機(jī)器翻譯架構(gòu)內(nèi)部的運(yùn)行機(jī)制究竟是怎樣的？

NMT的最初來自Kalchbrenner和Blunsom（2013）等人的提議。今天更為人所知的框架是從Sutskever等人提出的seq2seq框架。...

2019-01-26 標(biāo)簽：編碼器神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯 3726 0