對(duì)于大規(guī)模系統(tǒng)日志的日志模式提煉算法的優(yōu)化
推薦 + 挑錯(cuò) + 收藏(0) + 用戶評(píng)論(0)
LARGE框架是部署在中國(guó)科學(xué)院超級(jí)計(jì)算環(huán)境中的日志分析系統(tǒng),通過日志收集、集中分析、結(jié)果反饋等步驟對(duì)環(huán)境中的各種日志文件進(jìn)行監(jiān)控和分析。在對(duì)環(huán)境中系統(tǒng)日志的監(jiān)控過程中,系統(tǒng)維護(hù)人員需要通過日志模式提煉算法將大量的過往系統(tǒng)日志記錄縮減為少量的日志模式集合。然而隨著日志規(guī)模的增長(zhǎng)以及messages日志文件的特殊性,原有的日志模式提煉算法已經(jīng)難以滿足對(duì)大規(guī)模日志快速處理的需要。介紹了一種對(duì)于日志模式提煉算法的優(yōu)化方法,通過引入MapReduce機(jī)制實(shí)現(xiàn)在存在多個(gè)日志輸入文件的情況下對(duì)日志處理和模式提煉的流程進(jìn)行加速。實(shí)驗(yàn)表明,當(dāng)輸入文件較多時(shí),該優(yōu)化方法能夠顯著提高詞匯一致率算法的運(yùn)行速度,大幅減少運(yùn)行時(shí)間。此外,還對(duì)使用詞匯轉(zhuǎn)換函數(shù)時(shí)的算法運(yùn)行時(shí)間和提煉效果進(jìn)行了驗(yàn)證。
非常好我支持^.^
(0) 0%
不好我反對(duì)
(0) 0%
下載地址
對(duì)于大規(guī)模系統(tǒng)日志的日志模式提煉算法的優(yōu)化下載
相關(guān)電子資料下載
- 鴻蒙開發(fā)系統(tǒng)基礎(chǔ)能力:ohos.hilog 日志打印 166
- 鴻蒙開發(fā)系統(tǒng)基礎(chǔ)能力:ohos.faultLogger 故障日志獲取 146
- 奇怪!應(yīng)用的日志呢?? 173
- 微軟將Xbox Wire更新日志遷移至Xbox Support網(wǎng)站 233
- 【嵌入式SD NAND】基于FATFS/Littlefs文件系統(tǒng)的日志框架實(shí)現(xiàn) 847
- 【嵌入式SD NAND】基于FATFS/Littlefs文件系統(tǒng)的日志框架實(shí)現(xiàn) 794
- 基于Clickhouse構(gòu)建新一代日志存儲(chǔ)系統(tǒng) 454
- Windows事件日志查看器存在零日漏洞 287
- 潤(rùn)和軟件HopeStage與日志易系統(tǒng)完成產(chǎn)品兼容性互認(rèn)證 233
- 請(qǐng)問Spring Boot是如何快速過濾出一次請(qǐng)求所有日志的? 245