Llama2的技術(shù)細(xì)節(jié)探討分析

模型結(jié)構(gòu)為Transformer結(jié)構(gòu)，與Llama相同的是采用RMSNorm歸一化、SwiGLU激活函數(shù)、RoPE位置嵌入、詞表的構(gòu)建與大小，與Llam...

2023-07-23 標(biāo)簽：函數(shù)OpenAILlama2 1620 0

從Google多模態(tài)大模型看后續(xù)大模型應(yīng)該具備哪些能力

前段時(shí)間Google推出Gemini多模態(tài)大模型，展示了不凡的對(duì)話能力和多模態(tài)能力，其表現(xiàn)究竟如何呢？

2023-12-28 標(biāo)簽：SFTTPUGPT 1594 0

AIGC應(yīng)用和模型的測(cè)評(píng)對(duì)比

包括代碼補(bǔ)全、代碼重構(gòu)、代碼優(yōu)化、代碼注釋等，可以覆蓋多種編程語言和領(lǐng)域?；贠penAI的GPT-4模型，甚至可以做到基于手畫的一張產(chǎn)品原型草稿圖生成...

2023-06-11 標(biāo)簽：AIOpenAIAIGC 1531 0

把LangChain跑起來的3個(gè)方法

使用 LangChain 開發(fā) LLM 應(yīng)用時(shí)，需要機(jī)器進(jìn)行 GLM 部署，好多同學(xué)第一步就被勸退了，

2023-07-05 標(biāo)簽：SQLOpenAIChatGPT 1528 0

全球首款支持 8K（8192）輸入長(zhǎng)度的開源向量模型發(fā)布

在大模型時(shí)代，向量模型的重要性進(jìn)一步增強(qiáng)。尤其是在檢索增強(qiáng)生成（RAG）場(chǎng)景中，它成為了一個(gè)核心組件，用于解決大模型的上下文長(zhǎng)度限制、幻覺問題和知識(shí)注入問題。

2023-11-02 標(biāo)簽：API聊天機(jī)器人自然語言處理 1357 0

探索ChatGPT的信息抽取能力

通過人工檢查ChatGPT的回復(fù)，發(fā)現(xiàn)ChatGPT傾向于識(shí)別比標(biāo)注的跨度更長(zhǎng)的sapn，以更接近人類的偏好。因此，之前的硬匹配(hard-matchi...

2023-06-01 標(biāo)簽：AI數(shù)據(jù)集深度學(xué)習(xí) 1332 0

開源LLM在各種基準(zhǔn)上的代理能力

采用ChatGPT的企業(yè)可能會(huì)擔(dān)心API調(diào)用的巨大成本、服務(wù)中斷、數(shù)據(jù)所有權(quán)和隱私問題，以及其他不可預(yù)測(cè)的事件，如最近關(guān)于董事會(huì)解雇CEO Sam Al...

2023-12-04 標(biāo)簽：人工智能OpenAIChatGPT 1279 0

小紅書搜索團(tuán)隊(duì)研究新框架：負(fù)樣本在大模型蒸餾中的重要性

在思維鏈（CoT）提示的幫助下，大語言模型（LLMs）展現(xiàn)出強(qiáng)大的推理能力。然而，思維鏈已被證明是千億級(jí)參數(shù)模型才具有的涌現(xiàn)能力。

2024-01-30 標(biāo)簽：算法OpenAI大模型 1272 0

【比特熊充電?！繉?shí)戰(zhàn)演練構(gòu)建LLM對(duì)話引擎

大模型時(shí)代，安全問題不容小覷。但如果把大模型比作孫悟空，那 NVIDIA NeMo Guardrails 就是“安全護(hù)欄”，可以輕松的為基于 LLM 的...

2023-09-19 標(biāo)簽：微軟NVIDIAOpenAI 1212 0

如何利用Transformers了解視覺語言模型

將模型稱為 “視覺語言” 模型是什么意思？一個(gè)結(jié)合了視覺和語言模態(tài)的模型？但這到底是什么意思呢？

2023-03-03 標(biāo)簽：編碼器語言模型Clip 1200 0

OpenAI推出Sora：AI領(lǐng)域的革命性突破

大模型的核心技術(shù)是自然語言處理（NLP）和深度學(xué)習(xí)。具體而言，它基于Transformer架構(gòu)，使用了大規(guī)模無監(jiān)督學(xué)習(xí)方法，例如自回歸語言建模和掩碼語言...

2024-02-21 標(biāo)簽：人工智能機(jī)器學(xué)習(xí)深度學(xué)習(xí) 1134 0