一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

KiloGram是一種用于管理文件中的大型n-gram的新算法

倩倩 ? 來(lái)源:互聯(lián)網(wǎng)分析沙龍 ? 2020-04-03 14:55 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

最近,一組研究人員在KiloGram上發(fā)表了他們的論文,KiloGram是一種用于管理文件中的大型n-gram的新算法,可以改善機(jī)器學(xué)習(xí)對(duì)惡意軟件的檢測(cè)能力。新算法比以前的方法快60倍,并且可以處理n = 1024或更高的n-gram。n的大值具有可解釋的惡意軟件分析和簽名生成的其他應(yīng)用程序。

在KDD 2019網(wǎng)絡(luò)安全學(xué)習(xí)和采礦研討會(huì)上發(fā)表的論文中,來(lái)自馬里蘭大學(xué)和網(wǎng)絡(luò)安全公司Endgame的研究人員描述了他們的算法,用于在大型文件數(shù)據(jù)集中查找最頻繁的n-gram。以前的方法在增加n的大小時(shí)會(huì)在內(nèi)存和運(yùn)行時(shí)中遇到“指數(shù)成本”,而在分析具有數(shù)十萬(wàn)個(gè)文件的數(shù)據(jù)集時(shí),它們的n值將小于8。相比之下,KiloGram算法能夠從數(shù)百萬(wàn)個(gè)文件中的5TB數(shù)據(jù)中提取n-gram,而僅使用9GB的RAM,并且“運(yùn)行時(shí)間不會(huì)隨n的增加而增加”。這允許算法為較大的n值提取n-gram,以測(cè)試這些n-gram是否為機(jī)器學(xué)習(xí)算法提供了更好的準(zhǔn)確性。

一個(gè)n-gram是n個(gè)項(xiàng)的唯一序列,并且該思想被用于許多機(jī)器學(xué)習(xí)任務(wù)中,尤其是自然語(yǔ)言處理(NLP)。在檢測(cè)到惡意軟件的情況下,n-gram是來(lái)自文件的字節(jié)序列,該文件將被分類為惡意軟件或良性文件。惡意軟件檢測(cè)的早期工作表明,較大的n-gram(例如n = 15或20)對(duì)于訓(xùn)練檢測(cè)系統(tǒng)是理想的,但是現(xiàn)代數(shù)據(jù)集的大小使得使用大于6的n值太昂貴。由于KiloGram算法可以處理那些較大的值,因此研究團(tuán)隊(duì)能夠測(cè)試較大值更好的想法。

該團(tuán)隊(duì)使用可執(zhí)行文件和Adobe PDF文檔的多個(gè)數(shù)據(jù)集,訓(xùn)練了Elastic-Net正則化邏輯回歸分類器來(lái)檢測(cè)惡意軟件;為了進(jìn)行回歸,輸入特征是使用KiloGram算法提取的n元語(yǔ)法。與文獻(xiàn)中的建議相反,研究人員發(fā)現(xiàn)“預(yù)測(cè)精度不會(huì)增加到n = 8以上”。較大的n-gram會(huì)產(chǎn)生精度降低的模型;但是,它們具有可解釋性的優(yōu)點(diǎn)。較小的n-gram產(chǎn)生“黑匣子”模型,而較大的n-gram特征集包含可能對(duì)分析人員有意義的字節(jié)序列。例如,它們可能代表代碼片段或文本字符串。

研究人員認(rèn)為,較大的n-gram在回歸模型中使用時(shí)不那么精確,因?yàn)樗鼈兏囟ㄓ谔囟ǖ膼阂廛浖簟?shí)際上,它們會(huì)導(dǎo)致過(guò)度擬合。但是,當(dāng)在諸如Yara之類的簽名模型中使用時(shí),它們的優(yōu)點(diǎn)是它們的假陽(yáng)性率低。也就是說(shuō),盡管Yara模型可能會(huì)錯(cuò)誤地將更多文件標(biāo)記為良性文件,但如果它確實(shí)表明文件為惡意軟件,則很少有錯(cuò)。這使得KiloGram算法可用于構(gòu)建結(jié)合了機(jī)器學(xué)習(xí)模型和基于簽名的模型的分層系統(tǒng)。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 算法
    +關(guān)注

    關(guān)注

    23

    文章

    4709

    瀏覽量

    95353
  • 網(wǎng)絡(luò)安全
    +關(guān)注

    關(guān)注

    11

    文章

    3339

    瀏覽量

    61451
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8502

    瀏覽量

    134584
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    100V15A點(diǎn)煙器N溝道MOS管HC070N10L

    N溝道MOS管(金屬-氧化物-半導(dǎo)體場(chǎng)效應(yīng)晶體管)是一種電壓控制型器件,依靠N型半導(dǎo)體的電子導(dǎo)電。當(dāng)柵極電壓超過(guò)閾值電壓時(shí),源極與漏極之間形成導(dǎo)電溝道,實(shí)現(xiàn)電流導(dǎo)通,具有輸入阻抗高、
    發(fā)表于 06-27 17:35

    在 KiCad 添加個(gè) AI 助手是一種什么體驗(yàn)?

    一種什么體驗(yàn)? 文章出處:【微信公眾號(hào):KiCad】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
    的頭像 發(fā)表于 05-15 14:28 ?271次閱讀

    基于RK3576開(kāi)發(fā)板的車(chē)輛檢測(cè)算法

    車(chē)輛檢測(cè)是一種基于深度學(xué)習(xí)的對(duì)人進(jìn)行檢測(cè)定位的目標(biāo)檢測(cè),能廣泛的用于園區(qū)管理、交通分析等多種場(chǎng)景,是違停識(shí)別、堵車(chē)識(shí)別、車(chē)流統(tǒng)計(jì)等多種算法的基石算法
    的頭像 發(fā)表于 05-08 17:34 ?910次閱讀
    基于RK3576開(kāi)發(fā)板的車(chē)輛檢測(cè)<b class='flag-5'>算法</b>

    AcrelCloud - 3200:大型商場(chǎng)預(yù)付費(fèi)管理的革新利器

    、方案概述 在現(xiàn)代商業(yè)運(yùn)營(yíng)和物業(yè)管理,大型商場(chǎng)、商業(yè)小區(qū)以及大集團(tuán)和大物業(yè)面臨著復(fù)雜的費(fèi)用收取和管理難題。安科瑞的 AcrelCloud
    的頭像 發(fā)表于 04-14 13:38 ?248次閱讀
    AcrelCloud - 3200:<b class='flag-5'>大型</b>商場(chǎng)預(yù)付費(fèi)<b class='flag-5'>管理</b>的革新利器

    hyper-v 文件,Hyper-V文件管理:高效操作指南

    在日常辦公,我們常常需要對(duì)大量文件或數(shù)據(jù)進(jìn)行重復(fù)性操作,比如批量修改文件名、批量更新數(shù)據(jù)等。這些任務(wù)不僅耗時(shí)費(fèi)力,還容易出錯(cuò)。幸運(yùn)的是,批量管理工具的出現(xiàn)為我們提供了
    的頭像 發(fā)表于 02-06 10:27 ?725次閱讀
    hyper-v <b class='flag-5'>文件</b>,Hyper-V<b class='flag-5'>文件</b><b class='flag-5'>管理</b>:高效操作指南

    AT6N135、AT6N136 是一種用于單通道的高速光耦合器

    AT6N135、AT6N136 是一種用于單通道的高速光耦合器, 由個(gè) 850nm 的 AlGaAs LED 光學(xué)耦合到
    發(fā)表于 01-13 09:54 ?0次下載

    大型農(nóng)田灌區(qū)信息化管理監(jiān)測(cè)系統(tǒng)方案

    大型農(nóng)田灌區(qū)信息化管理監(jiān)測(cè)系統(tǒng)是個(gè)集數(shù)據(jù)采集、傳輸、分析與決策支持于體的農(nóng)田灌區(qū)信息化管理監(jiān)測(cè)系統(tǒng),實(shí)現(xiàn)灌區(qū)的精細(xì)化
    的頭像 發(fā)表于 12-24 16:29 ?513次閱讀
    <b class='flag-5'>大型</b>農(nóng)田灌區(qū)信息化<b class='flag-5'>管理</b>監(jiān)測(cè)系統(tǒng)方案

    探討移動(dòng)設(shè)備的緩存文件管理

    ? 本文發(fā)表于FAST 2022。 探討 緩存文件管理方法。本文 通過(guò)個(gè)輕量級(jí)的基于機(jī)器學(xué)習(xí)的分類引擎來(lái)篩選和個(gè)性化管理緩存文件 ,實(shí)驗(yàn)
    的頭像 發(fā)表于 11-28 11:50 ?1070次閱讀
    探討移動(dòng)設(shè)備<b class='flag-5'>中</b>的緩存<b class='flag-5'>文件</b><b class='flag-5'>管理</b>

    IBIS文件的Series Model簡(jiǎn)介及設(shè)計(jì)仿真實(shí)例

    Model是指一種用于描述電路串聯(lián)元件(如電阻、電感、電容等)的模型。這些串聯(lián)元件通常用于模擬信號(hào)路徑的寄生效應(yīng),例如信號(hào)線上的電阻、
    的頭像 發(fā)表于 11-25 11:29 ?1154次閱讀

    華納云:Chord算法如何管理節(jié)點(diǎn)間的聯(lián)系?

    Chord算法一種分布式哈希表(DHT)協(xié)議,它通過(guò)構(gòu)建個(gè)環(huán)狀結(jié)構(gòu)來(lái)管理節(jié)點(diǎn)間的聯(lián)系。以下是Chord算法如何
    發(fā)表于 11-08 16:03

    一種基于深度學(xué)習(xí)的二維拉曼光譜算法

    近日,天津大學(xué)精密儀器與光電子工程學(xué)院的光子芯片實(shí)驗(yàn)室提出了一種基于深度學(xué)習(xí)的二維拉曼光譜算法,成果以“Rapid and accurate bacteria identification
    的頭像 發(fā)表于 11-07 09:08 ?734次閱讀
    <b class='flag-5'>一種</b>基于深度學(xué)習(xí)的二維拉曼光譜<b class='flag-5'>算法</b>

    一種基于光強(qiáng)度相關(guān)反饋的波前整形方法

    基于反饋的波前整形通過(guò)散射介質(zhì)聚焦光是一種成熟的方法。在傳統(tǒng)的基于反饋的波前整形,入射光被分成N個(gè)輸入模式,這些模式由空間光調(diào)制器(SLM)使用N個(gè)段進(jìn)行調(diào)制,每個(gè)段具有相同數(shù)量和大
    的頭像 發(fā)表于 10-27 16:28 ?693次閱讀
    <b class='flag-5'>一種</b>基于光強(qiáng)度相關(guān)反饋的波前整形方法

    一種半動(dòng)態(tài)環(huán)境的定位方法

    和終身定位方法,以識(shí)別非靜態(tài)環(huán)境的半動(dòng)態(tài)物體,并提出了個(gè)通用框架,將主流物體檢測(cè)算法與建圖和定位算法集成在起。建圖方法結(jié)合物體檢測(cè)
    的頭像 發(fā)表于 09-30 14:40 ?576次閱讀
    <b class='flag-5'>一種</b>半動(dòng)態(tài)環(huán)境<b class='flag-5'>中</b>的定位方法

    JK觸發(fā)器是一種什么穩(wěn)態(tài)電路

    JK觸發(fā)器是一種具有兩個(gè)穩(wěn)態(tài)的數(shù)字邏輯電路,廣泛應(yīng)用于數(shù)字電路設(shè)計(jì)。 引言 在數(shù)字電路設(shè)計(jì),觸發(fā)器是一種非常重要的基本邏輯元件。觸發(fā)器可
    的頭像 發(fā)表于 08-22 10:39 ?2039次閱讀

    TPM在光伏電站安全生產(chǎn)管理的應(yīng)用

    在可再生能源日益成為全球能源戰(zhàn)略重心的當(dāng)下,大型光伏電站以其高效、清潔的特性受到廣泛關(guān)注。然而,如何確保這些龐大系統(tǒng)安全、穩(wěn)定運(yùn)行,成為業(yè)界亟待解決的問(wèn)題。TPM(全面生產(chǎn)維護(hù))作為一種先進(jìn)的管理
    的頭像 發(fā)表于 07-18 10:15 ?701次閱讀