大語言模型事實(shí)性幻象的實(shí)驗(yàn)性分析

盡管大語言模型能力不斷提升，但一個(gè)持續(xù)存在的挑戰(zhàn)是它們具有產(chǎn)生幻象的傾向。本文構(gòu)建了幻象評(píng)測(cè)基準(zhǔn)HaluEval 2.0，并基于該評(píng)測(cè)框架從預(yù)訓(xùn)練/有監(jiān)...

2024-01-19 標(biāo)簽：開源語言模型自然語言處理 769 0

模型與人類的注意力視角下參數(shù)規(guī)模擴(kuò)大與指令微調(diào)對(duì)模型語言理解的作用

近期的大語言模型（LLM）在自然語言理解和生成上展現(xiàn)出了接近人類的強(qiáng)大能力，遠(yuǎn)遠(yuǎn)優(yōu)于先前的BERT等預(yù)訓(xùn)練模型（PLM）。

2024-01-04 標(biāo)簽：PLM語言模型LLM 764 0

NVIDIA大語言模型在推薦系統(tǒng)中的應(yīng)用實(shí)踐

推薦系統(tǒng)的主要任務(wù)在于根據(jù)用戶的過往行為預(yù)測(cè)其潛在興趣點(diǎn)，并據(jù)此推薦相應(yīng)的商品。在傳統(tǒng)的推薦系統(tǒng)中，當(dāng)處理用戶請(qǐng)求時(shí)，會(huì)觸發(fā)多個(gè)召回模塊，例如熱門商品召...

2025-03-05 標(biāo)簽：NVIDIA模型推薦系統(tǒng) 737 0

一種基于自然語言的軌跡修正方法

本研究提出了ExTraCT框架，利用自然語言進(jìn)行軌跡校正。該框架結(jié)合了大型語言模型（LLMs）用于自然語言理解和軌跡變形函數(shù)。ExTraCT能夠根據(jù)場景...

2024-01-19 標(biāo)簽：函數(shù)模型自然語言 725 0

大語言模型Fine-tuning踩坑經(jīng)驗(yàn)分享

當(dāng)然 MPT-7B-StoryWriter-65k+ [5] 模型也有較長的外推能力，主要在于，注意力這塊使用了 ALIBI [6]。要擁有什么樣的長度...

2023-10-26 標(biāo)簽：gpu數(shù)據(jù)處理ChatGPT 719 0

聊聊AI研發(fā)的七大支柱

通過豐富數(shù)據(jù)，生成式 AI 應(yīng)用程序可以提供上下文感知交互。 LLM 驅(qū)動(dòng)的功能通常依賴于特定的專有數(shù)據(jù)。簡化從多個(gè)來源引入數(shù)據(jù)對(duì)于創(chuàng)建平滑有效的模型至...

2023-12-21 標(biāo)簽：AI數(shù)據(jù)連接器大模型 703 0

NVIDIA Nemotron-4 340B模型幫助開發(fā)者生成合成訓(xùn)練數(shù)據(jù)

Nemotron-4 340B 是針對(duì) NVIDIA NeMo 和 NVIDIA TensorRT-LLM 優(yōu)化的模型系列，該系列包含最先進(jìn)的指導(dǎo)和獎(jiǎng)勵(lì)...

2024-09-06 標(biāo)簽：NVIDIA模型LLM 688 0

在NVIDIA TensorRT-LLM中啟用ReDrafter的一些變化

Recurrent Drafting (簡稱 ReDrafter) 是蘋果公司為大語言模型 (LLM) 推理開發(fā)并開源的一種新型推測(cè)解碼技術(shù)，該技術(shù)現(xiàn)在...

2024-12-25 標(biāo)簽：NVIDIA模型LLM 682 0

VILA與其他模型在提供邊緣AI 2.0方面的表現(xiàn)

VILA 是 NVIDIA 研究部門與麻省理工學(xué)院共同開發(fā)的高性能視覺語言模型系列。最大的模型約有 400 億參數(shù)，最小的模型約有 30 億參數(shù)，并且完...

2024-10-10 標(biāo)簽：NVIDIA模型邊緣AI 672 0

生成式推薦系統(tǒng)與京東聯(lián)盟廣告-綜述與應(yīng)用

大型語言模型（LLM）正在深刻地影響自然語言處理（NLP）領(lǐng)域，其強(qiáng)大的處理各種任務(wù)的能力也為其他領(lǐng)域的從業(yè)者帶來了新的探索路徑。推薦系統(tǒng)（RS）作為解...

2024-06-13 標(biāo)簽：AInlpLLM 671 0

更適合機(jī)械寶寶體質(zhì)的操作系統(tǒng)，竟然內(nèi)置LLM！

工程師們一直在試圖搭建更智能、可靠的機(jī)器人，比如之前火爆全網(wǎng)、來自波士頓動(dòng)力公司的機(jī)器狗Spot。它可以輕松上下樓梯、搬運(yùn)重物、巡查街道，等等。

2023-08-03 標(biāo)簽：人機(jī)交互機(jī)器人編解碼器 653 0

淺析流行的LLM推理堆棧和設(shè)置

還有一個(gè)與批次大小有關(guān)的數(shù)量，它們?cè)谝粋€(gè)有趣的點(diǎn)上相交。這個(gè)點(diǎn)不取決于硬件之外的任何因素。舉例來說，在 A10G 和 A100 上，硬件可以實(shí)現(xiàn)的總浮點(diǎn)...

2024-01-29 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)gpuAI 601 0

利用OpenVINO GenAI解鎖LLM極速推理

隨著 DeepSeek、 GPT 和 Llama 等大語言模型（LLMs）不斷推動(dòng)人工智能的邊界，它們?cè)诟咝Р渴鸱矫嬉矌砹酥卮筇魬?zhàn)。這些模型在生成類似...

2025-03-18 標(biāo)簽：AI聊天機(jī)器人LLM 598 0

OpenAI新研究：指令層次結(jié)構(gòu)防御LLM攻擊策略

為了解決這個(gè)問題，這篇研究提出了一種指令層次結(jié)構(gòu)（instruction hierarchy）。它明確定義了不同指令的優(yōu)先級(jí)，以及當(dāng)不同優(yōu)先級(jí)的指令發(fā)生...

2024-04-28 標(biāo)簽：指令AIGPT 588 0

一文理解多模態(tài)大語言模型——下

? 作者：Sebastian Raschka 博士， 翻譯：張晶，Linux Fundation APAC Open Source Evangelist...

2024-12-03 標(biāo)簽：語言模型LLM 569 0

聚焦于用LLMs模擬國際沖突的研究

本實(shí)驗(yàn)旨在驗(yàn)證LLM在模擬復(fù)雜歷史事件方面的有效性。實(shí)驗(yàn)選用了OpenAI開發(fā)的GPT-4作為后端模型，討論以下問題。

2023-12-04 標(biāo)簽：OpenAILLM 551 0

大語言模型的解碼策略與關(guān)鍵優(yōu)化總結(jié)

本文系統(tǒng)性地闡述了大型語言模型(LargeLanguageModels,LLMs)中的解碼策略技術(shù)原理及其實(shí)踐應(yīng)用。通過深入分析各類解碼算法的工作機(jī)制、...

2025-02-18 標(biāo)簽：語言模型解碼技術(shù)LLM 543 0

使用NVIDIA Triton和TensorRT-LLM部署TTS應(yīng)用的最佳實(shí)踐

針對(duì)基于 Diffusion 和 LLM 類別的 TTS 模型，NVIDIA Triton 和 TensorRT-LLM 方案能顯著提升推理速度。在單張...

2025-06-12 標(biāo)簽：NVIDIAgpu模型 461 0

詳解Object Detection Demo的移植

繼上一篇移植了 Mediapipe 的 LLM Inference 后，這篇文章我們將繼續(xù)探索 Object Detection Demo 的移植。

2025-02-05 標(biāo)簽：Android攝像頭移植 432 0