NLP / LLMs中的Temperature是什么？

Temperature 是一個超參數，可用于控制生成語言模型中生成文本的隨機性和創(chuàng)造性。它用于調整模型的softmax輸出層中預測詞的概率。溫度參數定義...

2023-05-24 標簽：TemperatureLLM 1641 0

利用知識圖譜與Llama-Index技術構建大模型驅動的RAG系統(tǒng)（下）

對于語言模型（LLM）幻覺，知識圖譜被證明優(yōu)于向量數據庫。知識圖譜提供更準確、多樣化、有趣、邏輯和一致的信息，減少了LLM中出現(xiàn)幻覺的可能性。

2024-02-22 標簽：數據庫語言模型知識圖譜 1635 0

RISC -V跑大模型（一）

去年，ChatGPT的出現(xiàn)震驚了全世界，在短短幾個月的時間內，ChatGPT的月活躍用戶達到了1億。ChatGPT的成功讓許多人第一次知道了大語言模型（...

2023-07-17 標簽：RISC-VRISC-V處理器ChatGPT 1633 0

主流GPU/TPU集群組網方案深度解析

用于連接 GPU 服務器中的 8 個 GPU 的 NVLink 交換機也可以用于構建連接 GPU 服務器之間的交換網絡。Nvidia 在 2022 年的...

2024-04-24 標簽：gpu服務器InfiniBand 1633 0

LLM推理任務中GPU的選擇策略

在Roofline模型可以直觀展示一張曲線圖，其中x軸表示AI（Arithmetic Intensity），即每個內存操作對應的浮點運算次數；y軸表示性...

2024-04-07 標簽：NVIDIAgpuLLM 1613 0

如何從訓練集中生成候選prompt 三種生成候選prompt的方式

這個“gradient”怎么得到的了呢，這是個啥玩意，怎么還有梯度？注意，注意。人家是帶引號的！比喻成梯度。這玩意有什么用呢。 文章指出給定一批e...

2024-01-12 標簽：算法promptLLM 1585 0

低比特量化技術如何幫助LLM提升性能

針對大語言模型 (LLM) 在部署過程中的性能需求，低比特量化技術一直是優(yōu)化效果最佳的方案之一，本文將探討低比特量化技術如何幫助 LLM 提升性能，以及...

2023-12-08 標簽：輕量化技術大模型LLM 1572 0

MOE與MOT：提升LLM效能的關鍵策略比較

MoE 與 MoT：在專家混合中（左），每個令牌都被路由到不同的專家前饋層。在令牌混合（右）中，每組內的令牌被混合，并且混合令牌由專家前饋層處理。

2024-04-15 標簽：控制器機器學習LLM 1570 0

chatGPT的175Billion個參數是哪兒來的

最近大語言模型模型LLM很火，大家總是說chatgpt的175Billion參數。做算法的人更關心網絡的結構，而我這種做硬件的人一直很好奇這個參數是怎么計算的。

2023-11-01 標簽：LSTMChatGPTLLM 1552 0

LLM的幻覺問題最新綜述

幻覺被描述為無意義或不忠實于所提供源內容的生成內容。根據與源內容的矛盾，這些幻覺又進一步分為內在幻覺和外在幻覺。在LLMs中，幻覺的范圍包含了一個更廣泛...

2023-11-22 標簽：人工智能渦輪增壓ChatGPT 1546 0

Optimum Intel三步完成Llama3在算力魔方的本地量化和部署

Llama3 是Meta最新發(fā)布的開源大語言模型(LLM), 當前已開源8B和70B參數量的預訓練模型權重，并支持指令微調。

2024-05-10 標簽：處理器pythonLLM 1489 0

OpenVINO? C# API部署YOLOv9目標檢測和實例分割模型

YOLOv9模型是YOLO系列實時目標檢測算法中的最新版本，代表著該系列在準確性、速度和效率方面的又一次重大飛躍。

2024-04-03 標簽：英特爾計算機視覺深度學習 1484 0

如何更好地繼續(xù)預訓練（Continue PreTraining）

但，這種前提是「充分訓練」，如果只看訓練前期的話，使用更長的預熱步數（黃色的線）。無論是「上游任務」還是「下游任務」，模型的 Loss 都要比其他預熱步...

2023-09-11 標簽：模型數據集LLM 1468 0

BigCode背后的大規(guī)模數據去重方法有哪些？

本文面向對大規(guī)模文檔去重感興趣，且對散列 (hashing) 、圖 (graph) 及文本處理有一定了解的讀者。

2023-08-02 標簽：存儲器URLpython 1450 0

Arm KleidiAI助力提升PyTorch上LLM推理性能

生成式人工智能 (AI) 正在科技領域發(fā)揮關鍵作用，許多企業(yè)已經開始將大語言模型 (LLM) 集成到云端和邊緣側的應用中。生成式 AI 的引入也使得許多...

2024-12-03 標簽：處理器ARM聊天機器人 1438 0

OneLLM：對齊所有模態(tài)的框架！

OneLLM 是第一個在單個模型中集成八種不同模態(tài)的MLLM。通過統(tǒng)一的框架和漸進式多模態(tài)對齊pipelines，可以很容易地擴展OneLLM以包含更多...

2024-01-04 標簽：編碼器路由器大模型 1434 0

如何在不微調的情況下提高RAG的準確性？

數據科學家、AI 工程師、MLOps 工程師和 IT 基礎設施專業(yè)人員在設計和部署檢索增強生成（RAG）工作流時，必須考慮各項因素，比如大語言模型（LL...

2024-01-05 標簽：機器人SQLLLM 1420 0

如何基于亞馬遜云科技LLM相關工具打造知識庫

背景 本篇將為大家闡述亞馬遜云科技大語言模型下沉到具體行業(yè)進行場景以及實施案例的介紹，是亞馬遜云科技官方《基于智能搜索和大模型打造企業(yè)下一代知識庫》系列...

2023-11-23 標簽：測試亞馬遜LLM 1418 0

小紅書搜索團隊研究新框架：負樣本在大模型蒸餾中的重要性

在思維鏈（CoT）提示的幫助下，大語言模型（LLMs）展現(xiàn)出強大的推理能力。然而，思維鏈已被證明是千億級參數模型才具有的涌現(xiàn)能力。

2024-01-30 標簽：算法OpenAI大模型 1409 0