大模型壓縮首篇綜述來啦

模型壓縮涉及將大型資源密集型模型轉(zhuǎn)化為適合在受限移動設(shè)備上存儲的緊湊版本。此外，它還可以優(yōu)化模型以實現(xiàn)更快的執(zhí)行速度和最小的延遲，或在這些目標(biāo)之間取得平衡。

2023-09-26 標(biāo)簽：模型數(shù)據(jù)集nlp 1465 0

多模態(tài)大模型最全綜述來了！

其中最后一個表示監(jiān)督信號是從圖像本身中挖掘出來的，流行的方法包括對比學(xué)習(xí)、非對比學(xué)習(xí)和masked image建模。在這些方法之外，文章也進一步討論了多...

2023-09-26 標(biāo)簽：圖像AIGC大模型 2913 0

mlc-llm對大模型推理的流程及優(yōu)化方案

在 MLC-LLM 部署RWKV World系列模型實戰(zhàn)（3B模型Mac M2解碼可達26tokens/s） 中提到要使用mlc-llm部署模型首先需要...

2023-09-26 標(biāo)簽：編譯MLC深度學(xué)習(xí) 1225 0

為什么transformer性能這么好？Transformer的上下文學(xué)習(xí)能力是哪來的？

為什么 transformer 性能這么好？它給眾多大語言模型帶來的上下文學(xué)習(xí) (In-Context Learning) 能力是從何而來？在人工智能領(lǐng)...

2023-09-25 標(biāo)簽：人工智能深度學(xué)習(xí)DeepMind 1637 0

InfiniBand和RoCEv2網(wǎng)絡(luò)簡介及解決方案

超高帶寬、超低延遲、超高可靠，這是大模型訓(xùn)練對于網(wǎng)絡(luò)的要求。

2023-09-22 標(biāo)簽：數(shù)據(jù)中心AITCP 1.1萬 0

聽圖森CTO王乃巖淺談從L2到L4商用車自動駕駛中的規(guī)?；?、可靠性與成本

算法冗余：針對單點算法失效的問題，圖森未來將整車運行的算法分成兩大類，即Data driven算法和Principle based算法；Data dri...

2023-09-21 標(biāo)簽：自動駕駛大模型圖森未來 736 0

LLM在生成摘要方面效果到底如何？

文本摘要，作為自然語言生成（NLG）中的一項任務(wù)，主要用來將一大段長文本壓縮為簡短的摘要，例如新聞文章、源代碼和跨語言文本等多種內(nèi)容都能用到。

2023-09-21 標(biāo)簽：源代碼GPT大模型 846 0

人工智能中常見的數(shù)據(jù)標(biāo)注方法

數(shù)據(jù)標(biāo)注（Data Annotations）是指對收集到的、未處理的原始數(shù)據(jù)或初級數(shù)據(jù)，包括語音、圖片、文本、視頻等類型的數(shù)據(jù)進行加工處理，并轉(zhuǎn)換為機器...

2023-09-21 標(biāo)簽：人機交互人工智能大模型 3220 0

【比特熊充電?！繉崙?zhàn)演練構(gòu)建LLM對話引擎

大模型時代，安全問題不容小覷。但如果把大模型比作孫悟空，那 NVIDIA NeMo Guardrails 就是“安全護欄”，可以輕松的為基于 LLM 的...

2023-09-19 標(biāo)簽：微軟NVIDIAOpenAI 1309 0

一文詳解6G內(nèi)生AI架構(gòu)及關(guān)鍵技術(shù)

6G作為下一代移動通信技術(shù)，正在成為全球范圍內(nèi)通信行業(yè)的重要研究熱點。6G內(nèi)生AI架構(gòu)，將人工智能與無線網(wǎng)絡(luò)緊密結(jié)合，有望為未來的通信帶來革命性的改變。

2023-09-18 標(biāo)簽：無線網(wǎng)絡(luò)AI人工智能 1573 0

大模型訓(xùn)練為什么不能用4090顯卡，GPU訓(xùn)練性能和成本對比

為什么？一般有 tensor parallelism、pipeline parallelism、data parallelism 幾種并行方式，分別在模...

2023-09-15 標(biāo)簽：fpgagpu內(nèi)存 3.1萬 0

基于星火大模型的智能編程助手iFlyCode簡介

一款基于星火大模型的智能編程助手，旨在為開發(fā)者提供高效、準(zhǔn)確和智能的編程支持。

2023-09-15 標(biāo)簽：編程C++編輯器 3998 0

大模型未來的產(chǎn)業(yè)發(fā)展趨勢和挑戰(zhàn)是什么

一般而言，大模型(Large Language Models)指的是包含超大規(guī)模參數(shù)的神經(jīng)網(wǎng)絡(luò)模型。大模型通常能夠?qū)W習(xí)到更細(xì)微的模式和規(guī)律，具有更強的泛...

2023-09-13 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語音識別人工智能 1106 0

開源大模型FLM-101B：訓(xùn)練成本最低的超100B參數(shù)大模型

近期，一支來自中國的研究團隊正是針對這些問題提出了解決方案，他們推出了FLM-101B模型及其配套的訓(xùn)練策略。FLM-101B不僅大幅降低了訓(xùn)練成本，而...

2023-09-12 標(biāo)簽：開源語言模型大模型 1906 0

LLaMA微調(diào)顯存需求減半，清華提出4比特優(yōu)化器

從 GPT-3，Gopher 到 LLaMA，大模型有更好的性能已成為業(yè)界的共識。但相比之下，單個 GPU 的顯存大小卻增長緩慢，這讓顯存成為了大模型訓(xùn)...

2023-09-11 標(biāo)簽：圖像分類機器翻譯大模型 754 0

揭秘英偉達A100、A800、H100、H800 GPU如何實現(xiàn)高性能大模型的百倍訓(xùn)練加速

摘要：本文主要介紹大模型的內(nèi)部運行原理、我國算力發(fā)展現(xiàn)狀。大模型指具有巨大參數(shù)量的深度學(xué)習(xí)模型，如GPT-4。其通過在大規(guī)模數(shù)據(jù)集上進行訓(xùn)練，能夠產(chǎn)生更...

2023-09-09 標(biāo)簽：NVIDIAgpu英偉達 2374 0

大模型外掛知識庫優(yōu)化-大模型輔助向量召回

用LLM根據(jù)用戶query生成k個“假答案”。（大模型生成答案采用sample模式，保證生成的k個答案不一樣，不懂LLM生成答案原理的同學(xué)可以看我這篇文...

2023-09-08 標(biāo)簽：向量數(shù)據(jù)集大模型 2572 0

大模型心高氣傲，沒有AI Agents生死難料

AI Agents會消除人與AI系統(tǒng)的大量繁瑣交互已經(jīng)板上釘釘，正在發(fā)生

2023-09-06 標(biāo)簽：AI大模型 903 0