大語言模型無損壓縮方面超越PNG和FLAC
Google DeepMind 和 Meta 的研究人員發(fā)表論文《Language Modeling Is Compression》，他們發(fā)現(xiàn) DeepMind 的大語言模型 Chinchilla 70B 在圖像和音頻的無損壓縮上超過了 PNG 和 FLAC。
論文提到，Chinchilla 70B 能將 ImageNet 圖像數(shù)據(jù)庫(kù)中的圖像無損壓縮到原始大小 43.4%，超過了 PNG 算法的 58.5%。
Chinchilla 能將 LibriSpeech 音頻數(shù)據(jù)集中的樣本無損壓縮到原始大小 16.4%，超過 FLAC 算法的 30.3%。
據(jù)介紹，Chinchilla 70B 主要是訓(xùn)練用于處理文本，但它在壓縮其它類型的數(shù)據(jù)集上的效果也表現(xiàn)優(yōu)異，甚至優(yōu)于專門的算法。
下面的例子比較了 gzip 和 Chinchilla 在示例文本上的壓縮效果?？梢钥吹?，gzip 的輸出沒有可讀性。
編輯：黃飛
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
無損壓縮
+關(guān)注
關(guān)注
0文章
12瀏覽量
8527 -
FLAC
+關(guān)注
關(guān)注
0文章
4瀏覽量
8645 -
png
+關(guān)注
關(guān)注
0文章
14瀏覽量
4573 -
大模型
+關(guān)注
關(guān)注
2文章
3146瀏覽量
4075
原文標(biāo)題：大模型在無損壓縮方面超越PNG和FLAC
文章出處：【微信號(hào)：OSC開源社區(qū)，微信公眾號(hào)：OSC開源社區(qū)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
LZO Data Compression,高性能LZO無損數(shù)據(jù)壓縮加速器介紹，F(xiàn)PGA&ASIC
LZOAccel-CLZO Data Compression Core/無損數(shù)據(jù)壓縮IP CoreLZOAccel-C是一個(gè)無損數(shù)據(jù)壓縮引擎的FPGA硬件實(shí)現(xiàn)，兼容LZO 2.10標(biāo)準(zhǔn)
發(fā)表于 01-24 23:53
LZO Data Compression,高性能LZO無損數(shù)據(jù)壓縮加速器介紹，F(xiàn)PGA&ASIC
LZOAccel-C是一個(gè)無損數(shù)據(jù)壓縮引擎的FPGA硬件實(shí)現(xiàn)，兼容LZO 2.10標(biāo)準(zhǔn)。Core接收未壓縮的輸入數(shù)據(jù)塊，產(chǎn)生壓縮后的數(shù)據(jù)塊。輸入的數(shù)據(jù)塊可以被分段，并且不同數(shù)據(jù)塊的分段
大語言模型開發(fā)框架是什么
大語言模型開發(fā)框架是指用于訓(xùn)練、推理和部署大型語言模型的軟件工具和庫(kù)。下面，AI部落小編為您介紹大語言模
大語言模型開發(fā)語言是什么
在人工智能領(lǐng)域，大語言模型（Large Language Models, LLMs）背后，離不開高效的開發(fā)語言和工具的支持。下面，AI部落小編為您介紹大語言
云端語言模型開發(fā)方法
云端語言模型的開發(fā)是一個(gè)復(fù)雜而系統(tǒng)的過程，涉及數(shù)據(jù)準(zhǔn)備、模型選擇、訓(xùn)練優(yōu)化、部署應(yīng)用等多個(gè)環(huán)節(jié)。下面，AI部落小編為您分享云端語言模型的開發(fā)
百問FB顯示開發(fā)圖像處理 - PNG圖像處理
2.3 PNG圖像處理
2.3.1 PNG文件格式和libpng編譯
?跟JPEG文件格式一樣，PNG也是一種使用了算法壓縮后的圖像格式，與JPEG不同，
發(fā)表于 12-02 09:25
【BearPi-Pico H3863星閃開發(fā)板體驗(yàn)連載】LZO壓縮算法移植
：無損壓縮算法和有損壓縮算法。
壓縮算法在無線通信中的應(yīng)用可以顯著提高數(shù)據(jù)傳輸效率和降低能耗，尤其是在資源受限的無線通信環(huán)境中。選擇合適的壓縮算法對(duì)于優(yōu)化無線傳輸性能至關(guān)重要。
二、L
發(fā)表于 11-10 21:45
大語言模型如何開發(fā)
大語言模型的開發(fā)是一個(gè)復(fù)雜且細(xì)致的過程，涵蓋了數(shù)據(jù)準(zhǔn)備、模型架構(gòu)設(shè)計(jì)、訓(xùn)練、微調(diào)和部署等多個(gè)階段。以下是對(duì)大語言模型開發(fā)步驟的介紹，由AI部
壓縮算法的類型和應(yīng)用
壓縮算法是一種通過減少數(shù)據(jù)量來節(jié)省存儲(chǔ)空間或傳輸數(shù)據(jù)的技術(shù)。壓縮算法可以分為兩種類型：有損壓縮和無損壓縮。
音頻信號(hào)的無損壓縮編碼是什么
，如WAV、FLAC、APE等。 1. 音頻信號(hào)的基本概念 在討論無損壓縮編碼之前，我們需要了解一些基本的音頻信號(hào)概念。 1.1 音頻信號(hào)的定義 音頻信號(hào)是描述聲音波形的電信號(hào)。它可以通過模擬或數(shù)字方式表示。在數(shù)字音頻中，音頻信號(hào)通常
【《大語言模型應(yīng)用指南》閱讀體驗(yàn)】+ 基礎(chǔ)知識(shí)學(xué)習(xí)
今天來學(xué)習(xí)大語言模型在自然語言理解方面的原理以及問答回復(fù)實(shí)現(xiàn)。
主要是基于深度學(xué)習(xí)和自然語言處理技術(shù)。
大
發(fā)表于 08-02 11:03
【《大語言模型應(yīng)用指南》閱讀體驗(yàn)】+ 基礎(chǔ)篇
今天開始學(xué)習(xí)《大語言模型應(yīng)用指南》第一篇——基礎(chǔ)篇，對(duì)于人工智能相關(guān)專業(yè)技術(shù)人員應(yīng)該可以輕松加愉快的完成此篇閱讀，但對(duì)于我還是有許多的知識(shí)點(diǎn)、專業(yè)術(shù)語比較陌生，需要網(wǎng)上搜索學(xué)習(xí)更多的資料才能理解書中
發(fā)表于 07-25 14:33
LLM大模型推理加速的關(guān)鍵技術(shù)
LLM（大型語言模型）大模型推理加速是當(dāng)前人工智能領(lǐng)域的一個(gè)研究熱點(diǎn)，旨在提高模型在處理復(fù)雜任務(wù)時(shí)的效率和響應(yīng)速度。以下是對(duì)LLM大模型推理
【《大語言模型應(yīng)用指南》閱讀體驗(yàn)】+ 俯瞰全書
的大語言模型設(shè)計(jì)技術(shù)人員閱讀，主要包括大語言模型的優(yōu)化方法、Agent系統(tǒng)調(diào)優(yōu)以及模型的安全技術(shù)。
展望篇分析了大
發(fā)表于 07-21 13:35
工商網(wǎng)監(jiān)
評(píng)論