完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>
標(biāo)簽 > 大模型
以大模型作為基礎(chǔ)模型支撐AI產(chǎn)業(yè)應(yīng)用邏輯已經(jīng)被證明實(shí)用性,AI大模型為AI落地應(yīng)用提供了一種通用化的解決方案;各自各樣參數(shù)不一、面向不同行業(yè)、面向不同任務(wù)的“大模型”也陸續(xù)發(fā)布,大模型已經(jīng)成為整個(gè)AI 界追逐的寵兒,AI大模型有效果好、泛化性強(qiáng)、研發(fā)流程標(biāo)準(zhǔn)化程度高等特點(diǎn)。
文章:3045個(gè) 瀏覽:3963次 帖子:18個(gè)
AIGC大模型對網(wǎng)絡(luò)的五大核心需求解析
AI 應(yīng)用計(jì)算量呈幾何級(jí)數(shù)增長,算法模型向巨量化發(fā)展,人工智能模型參數(shù)在過去十年增長了十萬倍,當(dāng)前AI超大模型的參數(shù)目前已經(jīng)達(dá)到了千億~萬億的級(jí)別。
GPU和顯卡的關(guān)系,就像是CPU和主板的關(guān)系。前者是顯卡的心臟,后者是主板的心臟。有些小伙伴會(huì)把GPU和顯卡當(dāng)成一個(gè)東西,其實(shí)還有些差別的,顯卡不僅包括...
FP8在NVIDIA GPU架構(gòu)和軟件系統(tǒng)中的應(yīng)用
在深度學(xué)習(xí)和人工智能的快速發(fā)展背景下,尤其是大語言模型(Large Language Model,LLM)的蓬勃發(fā)展,模型的大小和計(jì)算復(fù)雜性不斷增加,對...
2024-03-28 標(biāo)簽:NVIDIA人工智能深度學(xué)習(xí) 1947 0
在選擇k值時(shí),較大的值會(huì)使生成的內(nèi)容更具多樣性,但可能會(huì)生成不合理的內(nèi)容;較小的值則使生成的內(nèi)容多樣性較低,但質(zhì)量更有保證。我們可以根據(jù)任務(wù)的不同選擇合...
盤點(diǎn)一下史上最全大語言模型訓(xùn)練中的網(wǎng)絡(luò)技術(shù)
人工智能的基礎(chǔ)設(shè)施在大語言模型訓(xùn)練和推理過程中發(fā)揮了關(guān)鍵的作用。隨著大語言模型規(guī)模不斷增大,其對計(jì)算和通信的需求也在不斷增加。高
2024-03-27 標(biāo)簽:處理器人工智能網(wǎng)絡(luò)拓?fù)?/a> 2463 0
通過增強(qiáng)一致性訓(xùn)練,有效緩解CoT中的偏見問題
這些偏見特征可能導(dǎo)致模型在沒有明確提及這些偏見的情況下,系統(tǒng)性地歪曲其推理過程,從而產(chǎn)生不忠實(shí)(unfaithful)的推理。
2024-03-22 標(biāo)簽:大模型 596 0
探索推理時(shí)KV Cache的動(dòng)態(tài)內(nèi)存壓縮方法
DMC通過一個(gè)決策變量(α)來有效地對輸入序列進(jìn)行分段,每個(gè)段落可以獨(dú)立地決定是繼續(xù)追加還是進(jìn)行累積。這允許模型在不同段落之間動(dòng)態(tài)調(diào)整內(nèi)存使用。
2024-03-22 標(biāo)簽:AI動(dòng)態(tài)內(nèi)存DMC 1256 0
通用大型語言模型(LLM)推理基準(zhǔn):研究者們介紹了多種基于文本的推理任務(wù)和基準(zhǔn),用于評估LLMs在不同領(lǐng)域(如常識(shí)、數(shù)學(xué)推理、常識(shí)推理、事實(shí)推理和編程)...
不同于上述工作從待干預(yù)模型自身抽取引導(dǎo)向量,我們意在從LLMs預(yù)訓(xùn)練過程的切片中構(gòu)建引導(dǎo)向量來干預(yù)指令微調(diào)模型(SFT Model),試圖提升指令微調(diào)模...
張宏江深度解析:大模型技術(shù)發(fā)展的八大觀察點(diǎn)
在大模型的發(fā)展史上,Scaling Law(規(guī)模律)發(fā)揮了核心作用,它是推動(dòng)模型性能持續(xù)提升的主要?jiǎng)恿?。Scaling Law揭示了這樣一個(gè)現(xiàn)象:較小的...
2024-03-14 標(biāo)簽:操作系統(tǒng)Agi自然語言處理 420 0
對于所有“基座”(Base)模型,–template 參數(shù)可以是 default, alpaca, vicuna 等任意值。但“對話”(Chat)模型請...
2024-03-13 標(biāo)簽:機(jī)器學(xué)習(xí)大模型 1431 0
首先看吞吐量,看起來沒有什么違和的,在單卡能放下模型的情況下,確實(shí)是 H100 的吞吐量最高,達(dá)到 4090 的兩倍。
OpenVINO?協(xié)同Semantic Kernel:優(yōu)化大模型應(yīng)用性能新路徑
作為主要面向 RAG 任務(wù)方向的框架,Semantic Kernel 可以簡化大模型應(yīng)用開發(fā)過程,而在 RAG 任務(wù)中最常用的深度學(xué)習(xí)模型就是 Embe...
篇論文主要研究了大型語言模型(LLMs)中的一個(gè)現(xiàn)象,即在模型的隱藏狀態(tài)中存在極少數(shù)激活值(activations)遠(yuǎn)大于其他激活值的情況,這些被稱為“...
2024-03-01 標(biāo)簽:大模型 821 0
深度學(xué)習(xí)(DL)與自動(dòng)駕駛(AD)的融合標(biāo)志著該領(lǐng)域的重大飛躍,吸引了學(xué)術(shù)界和工業(yè)界的關(guān)注。配備了攝像頭和激光雷達(dá)的AD系統(tǒng)模擬了類似人類的決策過程。
2024-02-26 標(biāo)簽:攝像頭激光雷達(dá)自動(dòng)駕駛 626 0
谷歌大型模型終于開放源代碼,遲到但重要的開源戰(zhàn)略
在人工智能領(lǐng)域,谷歌可以算是開源的鼻祖。今天幾乎所有的大語言模型,都基于谷歌在 2017 年發(fā)布的 Transformer 論文;谷歌的發(fā)布的 BERT...
利用知識(shí)圖譜與Llama-Index技術(shù)構(gòu)建大模型驅(qū)動(dòng)的RAG系統(tǒng)(下)
對于語言模型(LLM)幻覺,知識(shí)圖譜被證明優(yōu)于向量數(shù)據(jù)庫。知識(shí)圖譜提供更準(zhǔn)確、多樣化、有趣、邏輯和一致的信息,減少了LLM中出現(xiàn)幻覺的可能性。
2024-02-22 標(biāo)簽:數(shù)據(jù)庫語言模型知識(shí)圖譜 1635 0
利用知識(shí)圖譜與Llama-Index技術(shù)構(gòu)建大模型驅(qū)動(dòng)的RAG系統(tǒng)(上)
向量數(shù)據(jù)庫是一組高維向量的集合,用于表示實(shí)體或概念,例如單詞、短語或文檔。向量數(shù)據(jù)庫可以根據(jù)實(shí)體或概念的向量表示來度量它們之間的相似性或關(guān)聯(lián)性。
2024-02-22 標(biāo)簽:數(shù)據(jù)庫大模型 1588 0
編輯推薦廠商產(chǎn)品技術(shù)軟件/工具OS/語言教程專題
電機(jī)控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動(dòng)駕駛 | TI | 瑞薩電子 |
BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
無刷電機(jī) | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
直流電機(jī) | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
步進(jìn)電機(jī) | SPWM | 充電樁 | IPM | 機(jī)器視覺 | 無人機(jī) | 三菱電機(jī) | ST |
伺服電機(jī) | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國民技術(shù) | Microchip |
Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
DuerOS | Brillo | Windows11 | HarmonyOS |