一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

FTL垃圾回收,磨損平衡的學(xué)習(xí)筆記

SSDFans ? 來源:lq ? 2018-12-14 16:01 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

垃圾回收的概念其實是很簡單的,太多了資料可以看看就會明白,主要的經(jīng)典算法就是Greedy policy,Cost-benefit policy, Cost-Age-Times(CAT)policy。這里我就簡單說一下需要掌握的幾個關(guān)鍵性概念:

1、預(yù)留空間 OP(Over Provisioning) 和 WAF(Write Amplification Factor)

由于WAF的大小和copy 有效數(shù)據(jù)有關(guān),想要減少WAF的值出發(fā)點是減少copy。

2、掌握垃圾回收,沿著以下線路進行探索(1)GC的原因:塊最終會被寫滿,必須時刻保證有free page 來滿足新的寫入需求(2)GC的過程:When to GC 什么時候喚醒GC操作->Which block選擇作為victim block, 這里的選擇方法就是上述提到的經(jīng)典算法以及改進->How many blocks將要被erase 擦除,只要涉及到擦除,就會和磨損平衡有關(guān)->How to 寫回這些有效數(shù)據(jù),Where to 分配這些有效數(shù)據(jù),這里稱之為Data redistribution policy數(shù)據(jù)再分配策略Where 來分配新請求寫入的數(shù)據(jù)

想要改進GC的算法,最基本的簡單的就是按照上述來思考。

現(xiàn)如今的都是在經(jīng)典算法上進行改良。我在學(xué)習(xí)的時候做過三種算法的模擬,后來自己加了一個Two-block Policy 來實現(xiàn)block再分配,做了一個簡簡單單的改良,WAF寫放大,以及copy次數(shù)顯著減少。就是有兩類block,一類是host write block, 寫入的是從host發(fā)來的新數(shù)據(jù);另一類是copy write block,寫入的是victim block上的有效數(shù)據(jù)。Z這樣簡單的分類對后續(xù)學(xué)習(xí)磨損平衡很有幫助。包括那些經(jīng)常更新的數(shù)據(jù)還有不經(jīng)常更新的數(shù)據(jù)怎么來做處理都是學(xué)習(xí)和思考的點。

對Wear Leveling 磨損平衡的認知:

在寫數(shù)據(jù)操作不斷更新的情況下,使得物理閃存塊的擦除操作頻繁發(fā)生,而每一個塊上的擦除操作次數(shù)不是無限的,是有一定壽命的,也就是經(jīng)??吹降腜rogram/Erase Cycle 來衡量閃存的壽命。一個block擦除次數(shù)到達了一定的閾值,會使得這個塊報廢,降低閃存的壽命。磨損平衡的出發(fā)點是不能一直讓那幾個塊一直不斷的erase,應(yīng)該讓所有的block平攤這個任務(wù),最好的理想狀態(tài)就是每個block的擦除次數(shù)是平均的,達到平衡的效果,以此來延長閃存的壽命。

拿一張紙記筆記來說,如果不斷的更改內(nèi)容在一處,不斷的用橡皮擦erase,用不了幾次,這里就會破掉,因此每次擦除盡量在整張紙上找剛擦一兩次的,這會延長紙張整體壽命。

關(guān)于閃存的預(yù)期壽命:

這個overhead是指文件系統(tǒng)和閃存管理數(shù)據(jù)結(jié)構(gòu)的開銷。

在看了很多論文以及材料的時候以下是常常會接觸到的概念:

在研究磨損平衡的時候把擦除次數(shù)Erase Counts多的塊稱之為old blocks,這類塊年歲已高,壽命即將到達尾聲,因此盡量不要讓他們再經(jīng)受擦除的折磨來長命百歲,任務(wù)就給那些擦出次數(shù)少的塊成為young block,年輕力壯,可以幫老人們多多承擔(dān)擦除的任務(wù)。

前面有提到,擦除是由于用戶寫入數(shù)據(jù)不斷更新而造成的,那些不斷更新的數(shù)據(jù)稱之為hot data,具有high locality,相對比,不常更新的稱之為cold data。

在研究了經(jīng)典的CAT垃圾回收算法時,因為Copy的有效數(shù)據(jù)可以是cold data 也可以是hot data,而不斷更新的新的請求數(shù)據(jù),那些也可以是cold data和hot data,那么怎樣處理這些數(shù)據(jù),怎么樣分配閃存的 物理塊,能夠減少copy的次數(shù),能夠延長閃存的壽命,這里就會啟發(fā)很多想法。

磨損平衡分為動態(tài)和靜態(tài)兩種:

動態(tài)磨損平衡:主要特點是下一次寫數(shù)據(jù)選擇那些擦除次數(shù)少的即young blocks來寫,但是那些存放cold data的塊的擦除次數(shù)是比存放hot data的少很多的,因此盡可能的把hot data 寫進young blocks上,但是cold data不能一直占用擦出次數(shù)少的塊,會造成失衡,因此需要靜態(tài)磨損平衡,冷熱數(shù)據(jù)的分離對性能影響很大。

靜態(tài)磨損平衡:主要做的就是追蹤所有的好塊,把cold data從young blocks里面copy 到 older blocks中,這樣可以讓young blocks歇一歇。我們要記得磨損平衡不是為了減少copy次數(shù),而是為了延閃存的壽命。

二者的比較動態(tài)磨損平衡是低成本并且降低靜態(tài)磨損平衡的復(fù)雜度,靜態(tài)磨損平衡是最大化的延長了壽命,所以要將二者結(jié)合。

磨損平衡的終極目標(biāo)就是:

Hot data -> young blocks

Cold data -> old blocks

Hot-Cold Swapping 技術(shù)

核心算法(結(jié)合CAT垃圾回收算法):

每個block都記錄著對應(yīng)的擦出次數(shù)

定期檢查所有塊的擦出次數(shù),這個激活期成為AP(Activation Period)

只要任何兩個塊的擦除次數(shù)之間的最大差異大于閾值,它們就會被交換

由于磨損平衡,會帶來的性能開銷會使得WAF增大。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 閃存
    +關(guān)注

    關(guān)注

    16

    文章

    1845

    瀏覽量

    115970
  • 算法
    +關(guān)注

    關(guān)注

    23

    文章

    4710

    瀏覽量

    95371

原文標(biāo)題:FTL垃圾回收,磨損平衡的學(xué)習(xí)筆記

文章出處:【微信號:SSDFans,微信公眾號:SSDFans】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    固態(tài)硬盤垃圾回收方法

    由于NAND閃存的固有限制,寫前擦除和擦除粒度較大,基于NAND Flash的固態(tài)硬盤(SSD)需要執(zhí)行垃圾回收以重用失效頁。然而垃圾回收帶來的高開銷會顯著降低SSD的性能,也會直接影
    發(fā)表于 12-03 10:50 ?2次下載
    固態(tài)硬盤<b class='flag-5'>垃圾</b><b class='flag-5'>回收</b>方法

    基于邏輯區(qū)間熱度的垃圾回收算法

    針對現(xiàn)有的NAND閃存垃圾回收算法中回收性能不高,磨損均衡效果差,并且算法內(nèi)存開銷大的問題,提出了一種基于邏輯區(qū)間熱度的垃圾
    發(fā)表于 12-05 18:27 ?0次下載
    基于邏輯區(qū)間熱度的<b class='flag-5'>垃圾</b><b class='flag-5'>回收</b>算法

    Jvm垃圾回收機制及性能調(diào)優(yōu)實戰(zhàn)

    JVM中自動檢測并移除不再使用的數(shù)據(jù)對象的這種機制稱為:垃圾回收,簡稱GC。JVM通過使用垃圾收集器及使用相應(yīng)的垃圾回收算法將內(nèi)存中不再被使
    發(fā)表于 04-03 14:31 ?2次下載

    交大發(fā)布可回收垃圾分揀機器人,實現(xiàn)助力全國垃圾分類回收工作

    6月4日消息,交大中英國際低碳學(xué)院可回收垃圾分揀機器人,更是打破國外技術(shù)壟斷,可實現(xiàn)每小時分揀垃圾5400次,并在大量垃圾中精準(zhǔn)識別可回收
    的頭像 發(fā)表于 06-04 14:31 ?3195次閱讀

    Non-Balance磨損平衡算法:提升固態(tài)硬盤3倍以上壽命

    (Wear-Levelling)和垃圾回收(Garbage Collection)策略來規(guī)避這些問題的產(chǎn)生。 磨損平衡算法產(chǎn)生的背景 磨損
    發(fā)表于 03-26 15:02 ?2237次閱讀
    Non-Balance<b class='flag-5'>磨損</b><b class='flag-5'>平衡</b>算法:提升固態(tài)硬盤3倍以上壽命

    智能垃圾回收機器人的應(yīng)用優(yōu)勢是什么

    為什么需要垃圾回收機器人? 首先,垃圾分類回收是實現(xiàn)地球資源循環(huán)利用至關(guān)重要的一環(huán),對于可持續(xù)發(fā)展有重大意義。垃圾分類也是對付
    發(fā)表于 07-22 09:26 ?2302次閱讀

    智能垃圾回收機器人的應(yīng)用優(yōu)勢有哪些

    為什么需要垃圾回收機器人? 首先,垃圾分類回收是實現(xiàn)地球資源循環(huán)利用至關(guān)重要的一環(huán),對于可持續(xù)發(fā)展有重大意義。垃圾分類也是對付
    發(fā)表于 08-17 16:08 ?4566次閱讀

    生活垃圾數(shù)據(jù)化分類回收方法及其回收系統(tǒng)(機械部分)

    一種生活垃圾數(shù)據(jù)化分類回收方法及其回收系統(tǒng)(機械部分)(1).doc 上傳完成 刪除 標(biāo)題一種生活垃圾數(shù)據(jù)化分類回收方法及其
    發(fā)表于 11-05 18:18 ?0次下載

    詳解JVM的垃圾回收算法和垃圾回收

    JVM 垃圾回收機制是對堆中沒有使用的對象進行回收,那么判斷對象是否“存活”就至關(guān)重要。在判斷對象是否“存活”的方法中,我們會介紹引用計數(shù)算法和可達性分析法。
    的頭像 發(fā)表于 03-29 13:55 ?1703次閱讀
    詳解JVM的<b class='flag-5'>垃圾</b><b class='flag-5'>回收</b>算法和<b class='flag-5'>垃圾</b><b class='flag-5'>回收</b>器

    Kubernetes容器垃圾回收的策略

    Kubernetes的垃圾回收由kubelet進行管理,每分鐘會查詢清理一次容器,每五分鐘查詢清理一次鏡像。在kubelet剛啟動時并不會立即進行GC,即第一次進行容器回收為kubelet啟動一分鐘后,第一次進行鏡像
    的頭像 發(fā)表于 08-15 09:16 ?1748次閱讀

    JVM入門之垃圾回收算法

    根據(jù)如何判定對象是垃圾垃圾回收算法分為兩類:1、 「引用計數(shù)式垃圾收集」 (判定垃圾是通過引用計數(shù)器)別名:直接
    的頭像 發(fā)表于 02-10 11:40 ?1064次閱讀
    JVM入門之<b class='flag-5'>垃圾</b><b class='flag-5'>回收</b>算法

    基于內(nèi)部區(qū)域壓實(IZC)的垃圾回收

    ? ? ?01 背景 ?目前基于閃存的固態(tài)硬盤保持著幾十年前的塊層接口,這在容量超額配置、頁面映射表的DRAM、垃圾回收開銷以及試圖減輕垃圾回收的主機軟件復(fù)雜性等方面帶來了巨大的代價。
    的頭像 發(fā)表于 06-30 10:28 ?1777次閱讀
    基于內(nèi)部區(qū)域壓實(IZC)的<b class='flag-5'>垃圾</b><b class='flag-5'>回收</b>

    智能垃圾回收箱及其控制系統(tǒng)

    智能高效遠程控制智能垃圾回收箱本文設(shè)計了基于機械傳動、嵌入式系統(tǒng)和物聯(lián)網(wǎng)技術(shù)的智能垃圾回收箱及控制系統(tǒng),包括結(jié)構(gòu)、硬件和軟件設(shè)計,以及基于機智云后臺服務(wù)器的操作系統(tǒng),實現(xiàn)了用戶信息識
    的頭像 發(fā)表于 04-13 08:10 ?1934次閱讀
    智能<b class='flag-5'>垃圾</b><b class='flag-5'>回收</b>箱及其控制系統(tǒng)

    智能垃圾回收箱控制系統(tǒng)硬件設(shè)計

    智能高效遠程控制智能垃圾回收箱控制系統(tǒng)硬件部分的選型與設(shè)計是整個產(chǎn)品的基礎(chǔ),所有功能的實現(xiàn)都要圍繞其進行開發(fā)。本章對智能垃圾回收箱控制系統(tǒng)的硬件進行詳細設(shè)計。智能
    的頭像 發(fā)表于 04-13 08:10 ?1386次閱讀
    智能<b class='flag-5'>垃圾</b><b class='flag-5'>回收</b>箱控制系統(tǒng)硬件設(shè)計

    智能垃圾回收箱功能實驗

    需要系統(tǒng)地介紹智能垃圾回收箱軟件硬件設(shè)計完成后的設(shè)備運行狀況,包括正常工作和問題調(diào)試。同時,也要描述當(dāng)所有設(shè)備正常工作時智能垃圾回收箱的操作流程。01硬件模塊的試驗在智能
    的頭像 發(fā)表于 05-24 08:10 ?893次閱讀
    智能<b class='flag-5'>垃圾</b><b class='flag-5'>回收</b>箱功能實驗