電子發(fā)燒友網(wǎng)綜合報道 AI大模型帶來算力硬件需求升級，算力芯片、HBM內(nèi)存等迎來需求暴增。而在軟件端，由于AI大模型的海量數(shù)據(jù)、高算力需求、分布式訓(xùn)練等特點，對文件系統(tǒng)也提出了與傳統(tǒng)應(yīng)用截然不同的要求。
?
最近，開源文件系統(tǒng)EROFS在即將到來的Linux 6.15內(nèi)核周期中進行擴展，以處理更大規(guī)模的存儲系統(tǒng)。此次改進旨在使EROFS更適配AI訓(xùn)練場景及其他大規(guī)模數(shù)據(jù)歸檔需求。
?
在Linux 6.15合并窗口開啟（緊隨v6.14內(nèi)核發(fā)布之后），EROFS新增了48位尋址支持，旨在通過擴展文件系統(tǒng)容量上限，滿足AI訓(xùn)練等大規(guī)模數(shù)據(jù)存檔場景的需求。來自阿里巴巴的工程師高翔（在華為工作期間主導(dǎo)開發(fā)了EROFS）在提交的補丁系列中解釋道：
?
當(dāng)前32位塊尋址限制了EROFS的最大卷容量（4KiB塊下限為16TiB），但AI模型訓(xùn)練的海量數(shù)據(jù)集，需要文件系統(tǒng)提升每輪訓(xùn)練周期中隨機采樣性能；利用EROFS直通特性實現(xiàn)高效數(shù)據(jù)訪問。
?
此次更新擴展了核心磁盤結(jié)構(gòu)以支持48位塊尋址，包括inode（索引節(jié)點）、設(shè)備槽位和inode塊等結(jié)構(gòu)。
?
與此同時，新版本在32字節(jié)緊湊型inode中增加了mtime字段以支持基礎(chǔ)時間戳功能，并將超級塊根NID擴展為8字節(jié)的rootnid_8b，以實現(xiàn)異地更新的增量構(gòu)建。引入字節(jié)導(dǎo)向編碼擴展區(qū)（byte-oriented encoded extents），允許主流壓縮算法（如Zstd）沿用其現(xiàn)有方法，從而支持超越32位尋址限制的大型鏡像及壓縮數(shù)據(jù)的高效索引（尤其在壓縮單元較大時）。
?
48位尋址的意義在于，將文件系統(tǒng)的理論最大卷容量從16TiB（32位）提升至4EiB（48位），滿足PB級AI訓(xùn)練數(shù)據(jù)集需求；直接透傳對象存儲客戶端時，可避免中間轉(zhuǎn)換層性能損耗。
?
值得一提的是，EROFS最早是華為內(nèi)部的移動端優(yōu)化方案。2017年，華為內(nèi)部工程師開始研究只讀壓縮文件系統(tǒng)的概念驗證（POC），旨在解決傳統(tǒng)只讀文件系統(tǒng)（如SquashFS）的性能瓶頸，尤其是壓縮效率與內(nèi)存占用問題。
?
到2018年EROFS初步設(shè)計完成，并在開源社區(qū)首次亮相。其核心創(chuàng)新包括改進的壓縮算法 和固定大小輸出壓縮 （Fixed-Size Output Compression），在節(jié)省存儲空間的同時提升讀取性能。
?
2019年，EROFS超級文件系統(tǒng)首次在華為P30系列手機中落地，與F2FS文件系統(tǒng)形成互補，EROFS負責(zé)系統(tǒng)分區(qū)，F(xiàn)2FS管理用戶數(shù)據(jù)，顯著提升系統(tǒng)啟動速度和隨機讀取性能。同年，Linux內(nèi)核5.4正式將華為EROFS超級文件系統(tǒng)合入主線，成為linux文件系統(tǒng)前端的重要內(nèi)核。
?
而作為一個開源社區(qū)維護的文件系統(tǒng)，EROFS在2022年被Android 13 采納為默認(rèn)只讀文件系統(tǒng)，谷歌與華為合作優(yōu)化其壓縮算法，進一步減少存儲占用并提升I/O效率。此時EROFS已支持原生文件系統(tǒng)壓縮，并通過Linux內(nèi)核主線版本持續(xù)迭代。
?
而隨著終端需求的變化，EROFS也正在圍繞壓縮效率、存儲密度與讀取性能不斷迭代。此次EROFS升級標(biāo)志著其從嵌入式、移動端優(yōu)化，向企業(yè)級AI、大數(shù)據(jù)存儲場景的拓展。結(jié)合其固有的高壓縮率與低延遲讀取特性，EROFS有望成為AI訓(xùn)練流水線中高效存儲層的新選擇，尤其適用于需要快速加載預(yù)處理數(shù)據(jù)集或模型參數(shù)的場景。
?
?