影響AI生態(tài)系統(tǒng)的七大主要趨勢

過去，計算機(jī)只能在人類語言首先被翻譯成代碼后才能理解。但通過使用NLP，機(jī)器能夠在文本保持其自然狀態(tài)的情況下獲取智能。

2024-01-31 標(biāo)簽：AI自然語言處理nlp 2227 0

基礎(chǔ)模型能為機(jī)器人帶來怎樣的可能性？

機(jī)器人是一種擁有無盡可能性的技術(shù)，尤其是當(dāng)搭配了智能技術(shù)時。近段時間創(chuàng)造了許多變革性應(yīng)用的大模型有望成為機(jī)器人的智慧大腦，幫助機(jī)器人感知和理解這個世界并...

2024-01-26 標(biāo)簽：機(jī)器人計算機(jī)視覺自然語言處理 421 0

Continous Batching大模型推理關(guān)鍵技術(shù)

TurboTransformers算是比較早期指出輸入變長需要新的Batching方法的論文。在2020年上半年，我開始思考如何把變長輸入Batchin...

2024-01-23 標(biāo)簽：gpuGPTnlp 1044 0

Transformers的功能概述

近年來，我們聽說了很多關(guān)于Transformers的事情，并且在過去的幾年里，它們已經(jīng)在NLP領(lǐng)域取得了巨大成功。Transformers是一種使用注意...

2024-01-23 標(biāo)簽：編碼器模型nlp 1163 0

教您如何精調(diào)出自己的領(lǐng)域大模型

BERT和 GPT-3 等語言模型針對語言任務(wù)進(jìn)行了預(yù)訓(xùn)練。微調(diào)使它們適應(yīng)特定領(lǐng)域，如營銷、醫(yī)療保健、金融。在本指南中，您將了解 LLM 架構(gòu)、微調(diào)過程...

2024-01-19 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)nlpChatGPT 1723 0

詳解機(jī)器人技術(shù)基礎(chǔ)模型

基礎(chǔ)模型在解決機(jī)器人技術(shù)中的數(shù)據(jù)稀缺問題上至關(guān)重要。它們?yōu)槭褂米钌俚奶囟〝?shù)據(jù)學(xué)習(xí)和適應(yīng)新任務(wù)提供了堅實(shí)的基礎(chǔ)。

2024-01-08 標(biāo)簽：機(jī)器人人工智能自然語言處理 761 0

如何利用位置編碼實(shí)現(xiàn)長度外推？

無論是縮放位置索引還是修改基地，所有token都變得彼此更接近，這將損害LLM區(qū)分相近token的位置順序的能力。結(jié)合他們對RoPE的波長的觀察，存在一...

2024-01-08 標(biāo)簽：語言模型Transformer位置編碼器 710 0

NLP領(lǐng)域的語言偏置問題分析

許多研究證明，學(xué)術(shù)論文表達(dá)的nativeness會影響其被接受發(fā)表的可能性[1, 2]。先前的研究也揭示了非英語母語的作者在國際期刊發(fā)表論文時所經(jīng)歷的壓...

2024-01-03 標(biāo)簽：數(shù)據(jù)收集數(shù)據(jù)集自然語言處理 664 0

什么是AI Agent？NLP到AGI的發(fā)展路線

大模型在語言理解、決策制定以及泛化能力等方面展現(xiàn)出強(qiáng)大的潛力，成為代理構(gòu)建過程中的關(guān)鍵角色，而代理的進(jìn)展也為大模型提出了更高的要求。

2023-12-18 標(biāo)簽：AI人工智能Agi 2063 0

什么是神經(jīng)網(wǎng)絡(luò)？神經(jīng)網(wǎng)絡(luò)是如何工作的？GPT與神經(jīng)網(wǎng)絡(luò)的關(guān)系

作為一名程序員，我們習(xí)慣于去了解所使用工具、中間件的底層原理，本文則旨在幫助大家了解 AI 模型的底層機(jī)制，讓大家在學(xué)習(xí)或應(yīng)用各種大模型時更加得心應(yīng)手，...

2023-12-13 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)RGB人工智能 2203 0

無監(jiān)督域自適應(yīng)場景：基于檢索增強(qiáng)的情境學(xué)習(xí)實(shí)現(xiàn)知識遷移

本文對比了多種基線方法，包括無監(jiān)督域自適應(yīng)的傳統(tǒng)方法（如Pseudo-labeling和對抗訓(xùn)練）、基于檢索的LM方法（如REALM和RAG）和情境學(xué)習(xí)...

2023-12-05 標(biāo)簽：解碼器編碼器語言模型 904 0

深入理解BigBird的塊稀疏高效實(shí)現(xiàn)方案

RoBERTa 架構(gòu)的 BigBird 模型現(xiàn)已集成入 transformers 中。本文的目的是讓讀者 深入 了解 BigBird 的實(shí)現(xiàn)，并讓讀者能...

2023-11-29 標(biāo)簽：gpu算法Transformer 876 0

基于顯式證據(jù)推理的few-shot關(guān)系抽取CoT

最近，上下文學(xué)習(xí)策略已被證明在沒有訓(xùn)練的情況下顯示出顯著的結(jié)果。很少有研究利用上下文學(xué)習(xí)進(jìn)行zero-shot信息提取。不幸的是，推理的證據(jù)在思維鏈提示...

2023-11-20 標(biāo)簽：語言模型nlpLLM 1342 0

大模型壓縮首篇綜述來啦

模型壓縮涉及將大型資源密集型模型轉(zhuǎn)化為適合在受限移動設(shè)備上存儲的緊湊版本。此外，它還可以優(yōu)化模型以實(shí)現(xiàn)更快的執(zhí)行速度和最小的延遲，或在這些目標(biāo)之間取得平衡。

2023-09-26 標(biāo)簽：模型數(shù)據(jù)集nlp 1465 0

這篇究極諷刺的文章一出，NLP無了

一個在推上測試Phi-1.5的例子引發(fā)了眾多討論。例如，如果你截斷下圖這個問題并輸入給Phi-1.5，它會自動完成為計算第三個月的下載數(shù)量，并且回答是正確的。

2023-09-25 標(biāo)簽：模型數(shù)據(jù)集nlp 438 0

什么是零樣本學(xué)習(xí)？為什么要搞零樣本學(xué)習(xí)？

零樣本分類的技術(shù)目前正處于高速發(fā)展時期， 所涉及的具體應(yīng)用已經(jīng)從最初的圖像分類任務(wù)擴(kuò)展到了其他計算機(jī)視覺任務(wù)乃至自然語言處理等多個相關(guān)領(lǐng)域。 對此， 本...

2023-09-22 標(biāo)簽：深度學(xué)習(xí)自然語言處理nlp 2870 0

大模型基礎(chǔ)Transformer結(jié)構(gòu)的原理解析

該研究的結(jié)果適用于一般數(shù)據(jù)集，可以擴(kuò)展到交叉注意力層，并且研究結(jié)論的實(shí)際有效性已經(jīng)通過徹底的數(shù)值實(shí)驗得到了驗證。該研究建立一種新的研究視角，將多層 tr...

2023-09-07 標(biāo)簽：AI向量機(jī)Transformer 1503 0