Yuan2.0千億大模型在通用服務(wù)器NF8260G7上的推理部署

巨量模型的智能生產(chǎn)力正在逐步滲透到各行各業(yè)，但它們的部署和運(yùn)行通常需要專用的AI加速卡，能否在CPU上運(yùn)行千億大模型，對(duì)千行百業(yè)智能化轉(zhuǎn)型的深化與普惠至關(guān)重要。

2024-07-30 標(biāo)簽：cpu服務(wù)器浪潮 1043 0

Agent應(yīng)用實(shí)戰(zhàn)：從廣告智能助手落地到平臺(tái)化賦能

前言 自2022年底ChatGPT發(fā)布以來(lái)，大模型成為非?；鸨脑掝}。如何在生活和工作中把大模型用的更好、更具價(jià)值，業(yè)界一致認(rèn)為Agent是其中一個(gè)重要...

2025-02-14 標(biāo)簽：AIAgent大模型 1043 0

云邊AI的必然趨勢(shì)和硬件承載

云邊AI是指把AI大模型和算法在云端訓(xùn)練和優(yōu)化后，部署到邊緣設(shè)備上運(yùn)行，從而將AI能力融入終端設(shè)備。在前期的AI發(fā)展中，云端計(jì)算平臺(tái)憑借其強(qiáng)大的計(jì)算能力...

2023-11-07 標(biāo)簽：物聯(lián)網(wǎng)AI邊緣計(jì)算 1036 0

大模型的位置編碼和外推性問(wèn)題一樣嗎

這種編碼方式又叫做 Sinusoidal編碼 。直覺(jué)上看，第個(gè)位置的表征向量維度是 ，這個(gè)向量的奇數(shù)位置元素使用余弦值，偶數(shù)位置元素使用正弦值。

2023-09-06 標(biāo)簽：人工智能GPT位置編碼器 1019 0

大普技術(shù)低功耗高精度RTC實(shí)時(shí)時(shí)鐘解決方案

當(dāng)AI大模型有條不紊地進(jìn)行信息極速處理和海量數(shù)據(jù)存儲(chǔ)，當(dāng)掃地機(jī)器人每天合理規(guī)劃清潔任務(wù)并精準(zhǔn)定時(shí)清掃，當(dāng)無(wú)人機(jī)在復(fù)雜環(huán)境中高效完成精確飛行和導(dǎo)航定位，當(dāng)...

2025-04-30 標(biāo)簽：晶振實(shí)時(shí)時(shí)鐘RTC 1014 0

NeurlPS'23開(kāi)源 | 首個(gè)！開(kāi)放詞匯3D實(shí)例分割！

我們介紹了開(kāi)放詞匯3D實(shí)例分割的任務(wù)。當(dāng)前的3D實(shí)例分割方法通常只能從訓(xùn)練數(shù)據(jù)集中標(biāo)注的預(yù)定義的封閉類集中識(shí)別對(duì)象類別。這給現(xiàn)實(shí)世界的應(yīng)用程序帶來(lái)了很大...

2023-11-14 標(biāo)簽：3DAI大模型 1003 0

從小鵬、理想、蔚來(lái)布局看自動(dòng)駕駛發(fā)展趨勢(shì)

編者語(yǔ)： 「智駕最前沿」微信公眾號(hào)后臺(tái)回復(fù)： C-0574 ，獲取本文參考報(bào)告：《開(kāi)源證券：從小鵬、理想、蔚來(lái)布局，看自動(dòng)駕駛發(fā)展趨勢(shì)》pdf下載方式。...

2024-10-22 標(biāo)簽：自動(dòng)駕駛蔚來(lái)小鵬 993 0

中國(guó)電信大模型做得怎么樣了？

千億參數(shù)的星辰大模型發(fā)布。從2021年10月啟動(dòng)自研城市治理大模型，星辰大模型已經(jīng)走過(guò)語(yǔ)義大模型、多模態(tài)大模型、語(yǔ)音大模型到下一代數(shù)字人的階段發(fā)展，20...

2023-11-15 標(biāo)簽：中國(guó)電信人工智能大模型 985 0

跑分沒(méi)輸過(guò)，體驗(yàn)沒(méi)贏過(guò)，大模型刷分何時(shí)休？

從手機(jī)到大模型，國(guó)內(nèi)產(chǎn)品為啥都這么熱衷跑分？

2023-12-13 標(biāo)簽：AI大模型 983 0

一文解析向量數(shù)據(jù)庫(kù)的大模型之路

數(shù)據(jù)在 MaaS 時(shí)代很重要，市場(chǎng)的火熱映射到具體的企業(yè)行為上，表現(xiàn)為大批量垂直模型的推出、數(shù)據(jù)庫(kù)企業(yè)融資數(shù)量增加、數(shù)據(jù)庫(kù)使用量陡然增長(zhǎng)等。

2023-11-17 標(biāo)簽：數(shù)據(jù)庫(kù)騰訊云大模型 983 0

探索高效的大型語(yǔ)言模型！大型語(yǔ)言模型的高效學(xué)習(xí)方法

在大型語(yǔ)言模型（LLMs）的應(yīng)用中，提示工程（Prompt Engineering）是一種關(guān)鍵技術(shù)，用于引導(dǎo)模型生成特定輸出或執(zhí)行特定任務(wù)。通過(guò)精心設(shè)計(jì)...

2023-12-13 標(biāo)簽：cpuGPTTransformer 969 0

工業(yè)大模型的五個(gè)基本問(wèn)題

工業(yè)業(yè)大模型是大模型為賦能工業(yè)應(yīng)用所產(chǎn)生的產(chǎn)業(yè)新形態(tài)，是制造業(yè)數(shù)字化轉(zhuǎn)型3.0的重要載體，是一個(gè)新質(zhì)體。

2024-04-23 標(biāo)簽：工業(yè)軟件工業(yè)互聯(lián)網(wǎng)大模型 964 0

大模型在代碼缺陷檢測(cè)領(lǐng)域的應(yīng)用實(shí)踐

靜態(tài)代碼掃描(SA)能快速識(shí)別代碼缺陷，如空指針訪問(wèn)、數(shù)組越界等，以較高ROI保障質(zhì)量及提升交付效率。當(dāng)前掃描能力主要依賴人工經(jīng)驗(yàn)生成規(guī)則，泛化能力弱且...

2023-11-08 標(biāo)簽：計(jì)算機(jī)代碼缺陷檢測(cè) 955 0

應(yīng)用大模型提升研發(fā)效率的實(shí)踐與探索

對(duì)于模型訓(xùn)練，我們可以采用 3D 并行訓(xùn)練的方式來(lái)實(shí)現(xiàn)。將模型參數(shù)和梯度張量劃分為多個(gè)分區(qū)，分配到不同 GPU 卡上進(jìn)行計(jì)算。每張卡負(fù)責(zé)自己分區(qū)的梯度和...

2024-02-22 標(biāo)簽：gpu大模型 950 0

四足機(jī)器人走著走著突然斷了一條腿，還能繼續(xù)前進(jìn)嗎？

他們發(fā)明的一種叫做AutoRobotics-Zero (ARZ)的搜索算法，既不靠大模型，也不用神經(jīng)網(wǎng)絡(luò)，可以讓機(jī)器人一旦遇到劇烈的環(huán)境變化，就立刻自動(dòng)...

2023-08-08 標(biāo)簽：機(jī)器人神經(jīng)網(wǎng)絡(luò)大模型 947 0

大模型訓(xùn)練如何應(yīng)對(duì)GPU萬(wàn)卡互聯(lián)難題

為了增強(qiáng)對(duì)訓(xùn)練穩(wěn)定性和性能的監(jiān)控，開(kāi)發(fā)了一個(gè)精度達(dá)到毫秒級(jí)的監(jiān)控系統(tǒng)。采用不同級(jí)別的監(jiān)控來(lái)跟蹤各種指標(biāo)。

2024-04-07 標(biāo)簽：gpu數(shù)據(jù)中心人工智能 942 0

AI服務(wù)器異構(gòu)計(jì)算深度解讀

AI服務(wù)器按芯片類型可分為CPU+GPU、CPU+FPGA、CPU+ASIC等組合形式，CPU+GPU是目前國(guó)內(nèi)的主要選擇（占比91.9%）。

2024-04-12 標(biāo)簽：gpu服務(wù)器異構(gòu)計(jì)算 935 0

用PaddleNLP在4060單卡上實(shí)踐大模型預(yù)訓(xùn)練技術(shù)

作者：算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 之前我們分享了《從零開(kāi)始訓(xùn)練一個(gè)大語(yǔ)言模型需要投資多少錢(qián)》，其中高昂的預(yù)訓(xùn)練費(fèi)用讓許多對(duì)大模型預(yù)訓(xùn)練技術(shù)感興趣...

2025-02-19 標(biāo)簽：數(shù)據(jù)集大模型LLM 928 0