一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線(xiàn)課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

memory compaction如何實(shí)現(xiàn)及原理分析

Linux閱碼場(chǎng) ? 來(lái)源:Linux閱碼場(chǎng) ? 作者:Linux閱碼場(chǎng) ? 2021-07-27 09:24 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

作者簡(jiǎn)介

趙金生,linux內(nèi)核愛(ài)好者,就職于杭州某大型安防公司,擔(dān)任Linux BSP軟件工程師。對(duì)進(jìn)程調(diào)度,內(nèi)存管理有所了解。希望能通過(guò)對(duì)linux的學(xué)習(xí),提升產(chǎn)品軟件性能及穩(wěn)定性。該文章為私人學(xué)習(xí)總結(jié),不存在公司網(wǎng)絡(luò)安全問(wèn)題。

memory compaction簡(jiǎn)介

隨著系統(tǒng)的運(yùn)行,經(jīng)過(guò)不同用戶(hù)的分配請(qǐng)求后,頁(yè)框會(huì)變得十分分散,導(dǎo)致此段頁(yè)框被這些正在使用的零散頁(yè)框分為一小段一小段非連續(xù)頁(yè)框,這使得在需要分配內(nèi)存時(shí)很難找到物理上連續(xù)的頁(yè)框。

現(xiàn)代處理器不再限于使用傳統(tǒng)的4K大小的頁(yè)框;它們可以在進(jìn)程的部分地址空間中支持大得多的頁(yè)(huge pages)。使用巨頁(yè)會(huì)帶來(lái)真正的性能優(yōu)勢(shì),主要原因是減小了對(duì)處理器的轉(zhuǎn)換后備緩沖區(qū)(translation lookaside buffer)的壓力。但是使用巨頁(yè)要求系統(tǒng)能夠找到物理上連續(xù)的內(nèi)存區(qū)域,這些區(qū)域不僅要足夠大,而且還必須確保按適當(dāng)方式滿(mǎn)足字節(jié)對(duì)齊的要求。

在一個(gè)已經(jīng)運(yùn)行了一段時(shí)間的系統(tǒng)上會(huì)產(chǎn)生大量的不連續(xù)的page, 要想找到符合這些高階(high-order)條件的內(nèi)存空間非常具有挑戰(zhàn)性,memory compaction的作用就是解決high-order內(nèi)存分配失敗問(wèn)題,與buddy system機(jī)制做一個(gè)互補(bǔ)。

memory compaction原理

內(nèi)存碎片整理以pageblock為單位。

在內(nèi)存碎片整理開(kāi)始前,會(huì)在zone的頭和尾各設(shè)置一個(gè)指針,頭指針從頭向尾掃描可移動(dòng)的頁(yè),而尾指針從尾向頭掃描空閑的頁(yè),當(dāng)他們相遇時(shí)終止整理。

簡(jiǎn)單示意圖:需要明確的是:實(shí)際情況并不是與圖示的情況完全一致。頭指針每次掃描一個(gè)符合要求的pageblock里的所有頁(yè)框,當(dāng)pageblock不為MIGRATE_MOVABLE、MIGRATE_CMA、MIGRATE_RECLAIMABLE時(shí)會(huì)跳過(guò)這些pageblock,當(dāng)掃描完這個(gè)pageblock后有可移動(dòng)的頁(yè)框時(shí),會(huì)變?yōu)槲仓羔樢詐ageblock為單位向前掃描可移動(dòng)頁(yè)框數(shù)量的空閑頁(yè)框,但是在pageblock中也是從開(kāi)始頁(yè)框向結(jié)束頁(yè)框進(jìn)行掃描,最后會(huì)將前面的頁(yè)框內(nèi)容復(fù)制到這些空閑頁(yè)框中。

這里的移動(dòng)是將頁(yè)框中的數(shù)據(jù)copy拷貝到可移動(dòng)的空閑頁(yè)框當(dāng)中,此時(shí)原有的movable page變成free page。所以并不是頁(yè)框自身的移動(dòng)而是數(shù)據(jù)的移動(dòng)。

通過(guò)下圖的操作就可以分配出一個(gè)order = 2或者是order = 3的連續(xù)的可用空間,可用于滿(mǎn)足更high-order的內(nèi)存分配。當(dāng)然,這里展示的流程和真實(shí)系統(tǒng)比起來(lái)已經(jīng)大大簡(jiǎn)化了。實(shí)際的內(nèi)存域會(huì)大得多,這意味著掃描的工作量也會(huì)大很多,但由此獲得的空閑區(qū)也可能更大。

ee963ef2-e3dc-11eb-a97a-12bb97331649.png

實(shí)際的內(nèi)存碎片,還有一個(gè)問(wèn)題就是在整理算法中會(huì)將掃描中識(shí)別為不滿(mǎn)足整理要求的內(nèi)存塊標(biāo)識(shí)為 “可忽略”(“skip”,即不執(zhí)行規(guī)整)。作為一種優(yōu)化,目的是防止運(yùn)行沒(méi)必要的規(guī)整操作。

比如系統(tǒng)正在對(duì)zone進(jìn)行內(nèi)存碎片整理,首先,會(huì)從可移動(dòng)頁(yè)框開(kāi)始位置向后掃描一個(gè)pageblock,得到一些可移動(dòng)頁(yè)框,然后空閑頁(yè)框從開(kāi)始位置向前掃描一個(gè)pageblock,得到一些空閑頁(yè)框,然后將可移動(dòng)頁(yè)框移動(dòng)到空閑頁(yè)框中,之后再繼續(xù)循環(huán)掃描。對(duì)一個(gè)pageblock進(jìn)行掃描后,如果無(wú)法從此pageblock隔離出一個(gè)要求的頁(yè)框,這時(shí)候就會(huì)將此pageblock標(biāo)記為跳過(guò)(skip)。

假設(shè)內(nèi)存碎片整理可移動(dòng)頁(yè)掃描是從zone的第一個(gè)頁(yè)框開(kāi)始,掃描完一個(gè)pageblock后,沒(méi)有隔離出可移動(dòng)頁(yè)框,則標(biāo)記此pageblock的跳過(guò)標(biāo)記PB_migrate_skip,然后將zone-》compact_cached_migrate_pfn設(shè)置為此pageblock的結(jié)束頁(yè)框。

這樣,在下次對(duì)此zone進(jìn)行內(nèi)存碎片整理時(shí),就會(huì)直接從此pageblock的下一個(gè)pageblock開(kāi)始,把此pageblock跳過(guò)了。同理,對(duì)于空閑頁(yè)掃描也是一樣。這樣就必須更新zone pageblock的起始地址與結(jié)束地址:

eec6394a-e3dc-11eb-a97a-12bb97331649.png

以上就是內(nèi)存碎片整理的基本原理了。

memory compaction如何實(shí)現(xiàn)

3.1、數(shù)據(jù)結(jié)構(gòu)

在內(nèi)存碎片整理中,可以移動(dòng)的頁(yè)框有MIGRATE_RECLAIMABLE、MIGRATE_MOVABLE與MIGRATE_CMA這三種類(lèi)型的頁(yè)框。

而因?yàn)閮?nèi)存碎片整理分為同步和異步。在異步過(guò)程中,只會(huì)移動(dòng)MIGRATE_MOVABLE和MIGRATE_CMA這兩種類(lèi)型的頁(yè)框。因?yàn)檫@兩種類(lèi)型的頁(yè)框處理,是不會(huì)涉及到IO操作的。而在同步過(guò)程中,這三種類(lèi)型的頁(yè)框都會(huì)進(jìn)行移動(dòng),因?yàn)镸IGRATE_RECLAIMABLE基本上都是文件頁(yè),在移動(dòng)過(guò)程中,有可能要將臟頁(yè)回寫(xiě),會(huì)涉及到IO操作,也就是在同步過(guò)程中,是會(huì)涉及到IO操作的。

1、migrate_mode遷移模式:

enum migrate_mode { MIGRATE_ASYNC, MIGRATE_SYNC_LIGHT, MIGRATE_SYNC,};

2、compact_priority

enum compact_priority { COMPACT_PRIO_SYNC_FULL, MIN_COMPACT_PRIORITY = COMPACT_PRIO_SYNC_FULL, COMPACT_PRIO_SYNC_LIGHT, MIN_COMPACT_COSTLY_PRIORITY = COMPACT_PRIO_SYNC_LIGHT, DEF_COMPACT_PRIORITY = COMPACT_PRIO_SYNC_LIGHT, COMPACT_PRIO_ASYNC, INIT_COMPACT_PRIORITY = COMPACT_PRIO_ASYNC};

3、compact_result用于壓縮處理函數(shù)的返回值

enum compact_result { /* For more detailed tracepoint output - internal to compaction */ COMPACT_NOT_SUITABLE_ZONE,//trace用于調(diào)試輸出或內(nèi)部使用 /* * compaction didn‘t start as it was not possible or direct reclaim * was more suitable */ COMPACT_SKIPPED,//跳過(guò)壓縮,因?yàn)闊o(wú)法執(zhí)行壓縮或直接回收更合適 /* compaction didn’t start as it was deferred due to past failures */ COMPACT_DEFERRED,

/* compaction not active last round */ COMPACT_INACTIVE = COMPACT_DEFERRED,

/* For more detailed tracepoint output - internal to compaction */ COMPACT_NO_SUITABLE_PAGE, /* compaction should continue to another pageblock */ COMPACT_CONTINUE,

/* * The full zone was compacted scanned but wasn‘t successfull to compact * suitable pages. */ COMPACT_COMPLETE,//已完成所有區(qū)域的壓縮,但是尚未確??梢酝ㄟ^(guò)壓縮分配的頁(yè)面 /* * direct compaction has scanned part of the zone but wasn’t successfull * to compact suitable pages. */ COMPACT_PARTIAL_SKIPPED,

/* compaction terminated prematurely due to lock contentions */ COMPACT_CONTENDED,

/* * direct compaction terminated after concluding that the allocation * should now succeed */ COMPACT_SUCCESS,//在確??煞峙漤?yè)面安全后,直接壓縮結(jié)束};

4、compact_control需要進(jìn)行內(nèi)存碎片整理時(shí),總是需要初始化該結(jié)構(gòu)體

struct compact_control { /* 掃描到的空閑頁(yè)的頁(yè)的鏈表 */ struct list_head freepages; /* List of free pages to migrate to */ /* 掃描到的可移動(dòng)的頁(yè)的鏈表 */ struct list_head migratepages; /* List of pages being migrated */ /* 空閑頁(yè)鏈表中的頁(yè)數(shù)量 */ unsigned long nr_freepages; /* Number of isolated free pages */ /* 可移動(dòng)頁(yè)鏈表中的頁(yè)數(shù)量 */ unsigned long nr_migratepages; /* Number of pages to migrate */ /* 空閑頁(yè)框掃描所在頁(yè)框號(hào) */ unsigned long free_pfn; /* isolate_freepages search base */ /* 可移動(dòng)頁(yè)框掃描所在頁(yè)框號(hào) */ unsigned long migrate_pfn; /* isolate_migratepages search base */ /* 內(nèi)存碎片整理使用的模式: 同步,輕同步,異步 */ enum migrate_mode mode; /* Async or sync migration mode */ /* 是否忽略pageblock的PB_migrate_skip標(biāo)志對(duì)需要跳過(guò)的pageblock進(jìn)行掃描 ,并且也不會(huì)對(duì)pageblock設(shè)置跳過(guò) * 只有兩種情況會(huì)使用 * 1.調(diào)用alloc_contig_range()嘗試分配一段指定了開(kāi)始頁(yè)框號(hào)和結(jié)束頁(yè)框號(hào)的連續(xù)頁(yè)框時(shí); * 2.通過(guò)寫(xiě)入1到sysfs中的/vm/compact_memory文件手動(dòng)實(shí)現(xiàn)同步內(nèi)存碎片整理。 */ bool ignore_skip_hint; /* Scan blocks even if marked skip */ /* 本次內(nèi)存碎片整理是否隔離到了空閑頁(yè)框,會(huì)影響zone的空閑頁(yè)掃描起始位置 */ bool finished_update_free; /* True when the zone cached pfns are * no longer being updated */ /* 本次內(nèi)存碎片整理是否隔離到了可移動(dòng)頁(yè)框,會(huì)影響zone的可移動(dòng)頁(yè)掃描起始位置 */ bool finished_update_migrate; /* 申請(qǐng)內(nèi)存時(shí)需要的頁(yè)框的order值 */ int order; /* order a direct compactor needs */ const gfp_t gfp_mask; /* gfp mask of a direct compactor */ /* 掃描的管理區(qū) */ struct zone *zone; /* 保存結(jié)果,比如異步模式下是否因?yàn)樾枰枞Y(jié)束了本次內(nèi)存碎片整理 */ int contended; /* Signal need_sched() or lock * contention detected during * compaction */};

5、Node zone 掃描推遲

struct zone{ 。。。。。 unsigned int compact_considered; unsigned int compact_defer_shift; int compact_order_failed; 。。。。。。}

當(dāng)一個(gè)zone要進(jìn)行內(nèi)存碎片整理時(shí),首先會(huì)判斷本次整理需不需要推遲,如果本次內(nèi)存碎片整理使用的order值小于zone內(nèi)存碎片整理失敗最大order值compact_order_failed時(shí),不用進(jìn)行推遲,可以直接進(jìn)行內(nèi)存碎片整理;

當(dāng)order值大于zone內(nèi)存碎片整理失敗最大order值compact_order_failed,會(huì)增加內(nèi)存碎片整理推遲計(jì)數(shù)器compact_considered,如果內(nèi)存碎片整理推遲計(jì)數(shù)器compact_considered未達(dá)到內(nèi)存碎片整理推遲閥值defer_limit,則會(huì)跳過(guò)本次內(nèi)存碎片整理,如果達(dá)到了,那就需要進(jìn)行內(nèi)存碎片整理。

總結(jié):也就是當(dāng)order小于zone內(nèi)存碎片整理失敗最大order值時(shí),不用進(jìn)行推遲,而order大于zone內(nèi)存碎片整理失敗最大order值時(shí),才考慮是否進(jìn)行推遲,此時(shí)推遲就是continue掃描node當(dāng)中的下一個(gè)zone區(qū)域,這里并不是想下文一下設(shè)置zone SKIP標(biāo)志。

6、Pageblock skip

struct zone{ 。。。。。。 unsigned long compact_cached_free_pfn; /* pfn where async and sync compaction migration scanner should start */ unsigned long compact_cached_migrate_pfn[2];

。。。。。。}

3.2、源碼分析

內(nèi)存碎片整理移動(dòng)發(fā)生條件:

內(nèi)存分配不足時(shí)觸發(fā)direct compact整理內(nèi)存

Kswapd內(nèi)存回收后喚醒kcompactd內(nèi)核線(xiàn)程執(zhí)行compact操作,獲取連續(xù)內(nèi)存

手動(dòng)設(shè)置echo 1 》 /proc/sys/vm/compact_memory

分析的重點(diǎn)就放在內(nèi)存分配不足的情況,入口函數(shù)從try_to_compact_pages開(kāi)始

對(duì)源碼詳細(xì)分析參見(jiàn)代碼:https://github.com/linuxzjs/linux-4.14

重點(diǎn)分析5個(gè)關(guān)鍵函數(shù):

1、compaction_suitable

/* 判斷該zone是否可以做內(nèi)存碎片壓縮整理 */enum compact_result compaction_suitable(struct zone *zone, int order, unsigned int alloc_flags, int classzone_idx){ enum compact_result ret; int fragindex; /* * 根據(jù)watermask判斷zone中離散的page是否滿(mǎn)足2^order的內(nèi)存分配請(qǐng)求。

如果滿(mǎn)足則繼續(xù)對(duì)zone進(jìn)行內(nèi)存的compact整理zone的內(nèi)存碎片 * 說(shuō)明該zone時(shí)可以做內(nèi)存碎片的壓縮整理的。 */ ret = __compaction_suitable(zone, order, alloc_flags, classzone_idx,zone_page_state(zone, NR_FREE_PAGES));

/* 如果return返回值為COMPACT_CONTINUE,且order 》 PAGE_ALLOC_COSTLY_ORDER(3)則進(jìn)入一下判斷當(dāng)中 */ if (ret == COMPACT_CONTINUE && (order 》 PAGE_ALLOC_COSTLY_ORDER)) { /* * 為了確定zone區(qū)域是否執(zhí)行壓縮,找到所請(qǐng)求區(qū)域zone和順序的碎片系數(shù)。

* 如果碎片系數(shù)值返回-1000,則存在要分配的頁(yè)面,因此不需要壓縮。 * 在其他情況下,該值在0到500的范圍內(nèi),并且如果它小于sysctl_extfrag_threshold,則直接return COMPACT_NOT_SUITABLE_ZONE不執(zhí)行壓縮 */ fragindex = fragmentation_index(zone, order); if (fragindex 》= 0 && fragindex 《= sysctl_extfrag_threshold) ret = COMPACT_NOT_SUITABLE_ZONE; }。。。。。 return ret;}

由此可以知道,判斷是否執(zhí)行內(nèi)存的碎片整理,需要滿(mǎn)足以下三個(gè)條件:在__compaction_suitable當(dāng)中可以得出:

減去申請(qǐng)的頁(yè)面,空閑頁(yè)面數(shù)將低于水印值;或者雖然大于等于水印值,但是沒(méi)有一個(gè)足夠大的連續(xù)的空閑頁(yè)塊;

空閑頁(yè)面減去兩倍的申請(qǐng)頁(yè)面,高于水印值;在fragmentation_index中:

申請(qǐng)的order大于PAGE_ALLOC_COSTLY_ORDER時(shí),計(jì)算碎片指數(shù)fragindex來(lái)判斷;

2、compact_finished

通過(guò)該函數(shù)判斷zone區(qū)域碎片整理compact是否完成

static enum compact_result __compact_finished(struct zone *zone,struct compact_control *cc){ unsigned int order; /* 獲取zone的移動(dòng)類(lèi)型 */const int migratetype = cc-》migratetype;。。。。。 /* Compaction run completes if the migrate and free scanner meet */ /* 當(dāng)cc-》free_pfn 《= cc-》migrate_pfn空閑掃描于可移動(dòng)頁(yè)面掃描相遇則說(shuō)明zone碎片掃描壓縮完成 */ if (compact_scanners_met(cc)) { /* Let the next compaction start anew. */ /* 重置壓縮掃描起始地址于結(jié)束地址的位置 */ reset_cached_positions(zone);

/* 如果是直接壓縮模式則設(shè)置compact_blockskip_flush = true,清除PG_migrate_skip的skip屬性 */ if (cc-》direct_compaction) zone-》compact_blockskip_flush = true; /* * 如果whole_zone = 1說(shuō)明zone是從頭開(kāi)始掃描,掃描zone整個(gè)區(qū)域 return COMPACT_COMPLETE,表示zone掃描完成 * 如果whole_zone = 0說(shuō)明zone是從局部開(kāi)始掃描的,也就是在zone的更新的free_page或者是migrate_page當(dāng)中掃描 * 也就是也就是局部的pageblock的掃描,return COMPACT_PARTIAL_SKIPPED表示跳過(guò)該pageblock,掃描下一個(gè)pageblock */ if (cc-》whole_zone)

return COMPACT_COMPLETE; else return COMPACT_PARTIAL_SKIPPED; } /* 執(zhí)行壓縮時(shí),將返回COMPACT_CONTINUE以強(qiáng)制壓縮整個(gè)塊,這個(gè)于手動(dòng)模式有關(guān) * echo 1》 /proc/sys/vm/compact_memory */ if (is_via_compact_memory(cc-》order)) return COMPACT_CONTINUE; /* 如果掃描完成,則進(jìn)入判斷當(dāng)中,做進(jìn)一步判斷驗(yàn)證 */if (cc-》finishing_block) { /* 再次檢查遷移掃描程序與pageblock是否對(duì)齊,如果對(duì)齊則說(shuō)明頁(yè)面壓縮已經(jīng)完成重置cc-》finishing_block = false * 如果沒(méi)有對(duì)齊則,并返回COMPACT_CONTINUE以繼續(xù)掃描進(jìn)行zone的頁(yè)面掃描壓縮操作 */ if (IS_ALIGNED(cc-》migrate_pfn, pageblock_nr_pages)) cc-》finishing_block = false; else return COMPACT_CONTINUE; }

/* Direct compactor: Is a suitable page free? */ /* * 從當(dāng)前order開(kāi)始掃描,order -》 MAX_ORDER進(jìn)行, */ for (order = cc-》order; order 《 MAX_ORDER; order++) { /* 根據(jù)order獲取free_area */ struct free_area *area = &zone-》free_area[order]; bool can_steal;

/* Job done if page is free of the right migratetype */ /* 如果該area-》free_list[migratetype])不為NULL,不為空則COMPACT_SUCCESS壓縮掃描成功 */ if (!list_empty(&area-》free_list[migratetype])) return COMPACT_SUCCESS; /* 如果定義了CONFIG_CMA如果移動(dòng)類(lèi)型為MIGRATE_MOVABLE可移動(dòng)類(lèi)型,且area-》free_list[MIGRATE_CMA])不為空則return COMPACT_SUCCESS */#ifdef CONFIG_CMA /* MIGRATE_MOVABLE can fallback on MIGRATE_CMA */ if (migratetype == MIGRATE_MOVABLE && !list_empty(&area-》free_list[MIGRATE_CMA])) return COMPACT_SUCCESS;#endif /* 如果area-》free_list[migratetype]以及area-》free_list[MIGRATE_CMA])均為空則取對(duì)應(yīng)的migratetype的fallback當(dāng)中尋找合適可用的page * 判斷是否能夠完成頁(yè)面的壓縮。 */ if (find_suitable_fallback(area, order, migratetype, true, &can_steal) != -1) {

/* movable pages are OK in any pageblock */ /* 如果可移動(dòng)類(lèi)型為MIGRATE_MOVABLE則直接return COMPACT_SUCESS * 說(shuō)明只要是可以移動(dòng)的page都可用作頁(yè)面壓縮功能。 */ if (migratetype == MIGRATE_MOVABLE) return COMPACT_SUCCESS;

/* 如果正在執(zhí)行aync異步壓縮,或者如果遷移掃描程序已完成一頁(yè)代碼塊,則返回COMPACT_SUCCESS */ if (cc-》mode == MIGRATE_ASYNC || IS_ALIGNED(cc-》migrate_pfn, pageblock_nr_pages)) { return COMPACT_SUCCESS; } /* 如果fallback當(dāng)中沒(méi)有找到合適可用的page則設(shè)置cc-》finishing_block = true;return COMPACT_CONTINUE zone還需要繼續(xù)掃描, * skip到下一個(gè)pageblock或者是下一個(gè)zone */ cc-》finishing_block = true; return COMPACT_CONTINUE; } } /* 如果從order -》 max_order都沒(méi)有找到可用的page用作直接的頁(yè)面遷移壓縮則return COMPACT_NO_SUITABLE_PAGE表明沒(méi)有可用的頁(yè)面用于壓縮 */ return COMPACT_NO_SUITABLE_PAGE;}

3、isolate_migratepages

在zone當(dāng)中以pageblock為單位,掃描找到migratepage可移動(dòng)頁(yè),并將page添加struct compact_control *cc的migratepages鏈表當(dāng)中,便于后邊做頁(yè)面內(nèi)容的拷貝移動(dòng)。其實(shí)隔離的作用就是將可移動(dòng)頁(yè)面拿出來(lái),單獨(dú)存放,與之前的pageblock分開(kāi)

4、isolate_freepages

freepages的過(guò)程與migratepages的過(guò)程基本上是完全一致的,隔離結(jié)束的條件基本上也是一致的。

不同點(diǎn)就是freepage在找到pageblock的page進(jìn)行isolate隔離操作前會(huì)判斷這個(gè)page是如何組成的,是一個(gè)復(fù)合page還是非復(fù)合頁(yè),如果不是要獲取這個(gè)page的order。

如果該page是由2^order個(gè)單獨(dú)的page組合起來(lái)的還要將這個(gè)page拆分成單獨(dú)的page也就是order = 0的這種情況,然后將單獨(dú)的page移動(dòng)到freepages鏈表上,并設(shè)置page新的類(lèi)型為MIGRATE_MOVABLE供后續(xù)使用。

5、migrate_pages

當(dāng)完成freepages、migratepages完成隔離后就調(diào)migrate_pages完成兩個(gè)鏈表的頁(yè)面遷移。

err = migrate_pages(&cc-》migratepages, compaction_alloc,

compaction_free, (unsigned long)cc, cc-》mode,

MR_COMPACTION);

compact_alloc函數(shù),從zone區(qū)域當(dāng)中掃描freepages并提填充到cc-》freepages鏈表當(dāng)中,再?gòu)腸c-》freepages鏈表中取出一個(gè)空閑頁(yè)

static struct page *compaction_alloc(struct page *migratepage, unsigned long data, int **result){ struct compact_control *cc = (struct compact_control *)data; struct page *freepage;

/* * Isolate free pages if necessary, and if we are not aborting due to * contention. */ /* 如果cc中的空閑頁(yè)框鏈表為空 */ if (list_empty(&cc-》freepages)) { if (!cc-》contended) isolate_freepages(cc);/* 從cc-》free_pfn開(kāi)始向前獲取空閑頁(yè) */

if (list_empty(&cc-》freepages)) return NULL; } /* 從cc-》freepages鏈表取出一個(gè)空閑的freepages */ freepage = list_entry(cc-》freepages.next, struct page, lru); /* 將該page從lru鏈表當(dāng)中刪除 */ list_del(&freepage-》lru); cc-》nr_freepages--; /* 返回空閑頁(yè)框 */ return freepage;}static void compaction_free(struct page *page, unsigned long data){ struct compact_control *cc = (struct compact_control *)data;

list_add(&page-》lru, &cc-》freepages); cc-》nr_freepages++;}

這里先避開(kāi)PageHuge不談,migrate_pages通過(guò)調(diào)用unmap_and_move、__unmap_and_move、move_to_new_page、try_to_unmap完成頁(yè)面最終的整理工作。這里面涉及的rmap反向映射這里不再展開(kāi)。

memory compaction總結(jié)

分析過(guò)reclaim內(nèi)存回收代碼就會(huì)發(fā)現(xiàn),在內(nèi)存回收當(dāng)中同樣會(huì)wakeup_kcompactd觸發(fā)compaction碎片整理機(jī)制,在kswpad異步內(nèi)存回收當(dāng)中存在同樣的操作。

同時(shí)與kswapd機(jī)制類(lèi)似目前內(nèi)核在node節(jié)點(diǎn)當(dāng)中也引入了kcompactd線(xiàn)程機(jī)制,定時(shí)的休眠喚醒該內(nèi)核線(xiàn)程完成內(nèi)存碎片的整理,在新的patch當(dāng)中更是將kswapd與kcompactd結(jié)合起來(lái)共同完成內(nèi)存碎片的整理。內(nèi)存回收工作。

編輯:jq

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • Memory
    +關(guān)注

    關(guān)注

    1

    文章

    79

    瀏覽量

    29775

原文標(biāo)題:memory compaction原理、實(shí)現(xiàn)與分析

文章出處:【微信號(hào):LinuxDev,微信公眾號(hào):Linux閱碼場(chǎng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    無(wú)刷直流電機(jī)負(fù)載能耗制動(dòng)的分析實(shí)現(xiàn)

    獲取完整資料~~~ *附件:無(wú)刷直流電機(jī)負(fù)載能耗制動(dòng)的分析實(shí)現(xiàn).pdf 【免責(zé)聲明】本文系網(wǎng)絡(luò)轉(zhuǎn)載,版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問(wèn)題,請(qǐng)第一時(shí)間告知,刪除內(nèi)容,謝謝!
    發(fā)表于 06-27 16:43

    使用英特爾? NPU 插件C++運(yùn)行應(yīng)用程序時(shí)出現(xiàn)錯(cuò)誤:“std::Runtime_error at memory location”怎么解決?

    使用OpenVINO?工具套件版本 2024.4.0 構(gòu)建C++應(yīng)用程序 使用英特爾? NPU 插件運(yùn)行了 C++ 應(yīng)用程序 遇到的錯(cuò)誤: Microsoft C++ exception: std::runtime_error at memory location
    發(fā)表于 06-25 08:01

    STM32F407驕陽(yáng)電機(jī)版用DMA雙緩存接收串口數(shù)據(jù)時(shí),上電第一次接收區(qū)是memory1而不是memory0?為什么?

    STM32 F407驕陽(yáng)電機(jī)版用DMA雙緩存接收串口數(shù)據(jù)時(shí),上電第一次接收區(qū)是memory1而不是memory0?
    發(fā)表于 06-12 07:15

    普源示波器如何連接MATLAB實(shí)現(xiàn)數(shù)據(jù)采集與分析

    普源示波器(Rigol)作為國(guó)內(nèi)知名的測(cè)試測(cè)量?jī)x器品牌,廣泛應(yīng)用于電子工程、科研實(shí)驗(yàn)、教學(xué)等領(lǐng)域。為了進(jìn)一步擴(kuò)展其功能,用戶(hù)常需將示波器與MATLAB等數(shù)據(jù)分析平臺(tái)連接,實(shí)現(xiàn)自動(dòng)化測(cè)試、實(shí)時(shí)信號(hào)處理
    的頭像 發(fā)表于 05-29 09:34 ?240次閱讀

    利用邊緣計(jì)算和工業(yè)計(jì)算機(jī)實(shí)現(xiàn)智能視頻分析

    IVA的好處、實(shí)際部署應(yīng)用程序以及工業(yè)計(jì)算機(jī)如何實(shí)現(xiàn)這些解決方案。一、什么是智能視頻分析(IVA)?智能視頻分析(IVA)集成了復(fù)雜的計(jì)算機(jī)視覺(jué),通常與卷積神經(jīng)網(wǎng)
    的頭像 發(fā)表于 05-16 14:37 ?164次閱讀
    利用邊緣計(jì)算和工業(yè)計(jì)算機(jī)<b class='flag-5'>實(shí)現(xiàn)</b>智能視頻<b class='flag-5'>分析</b>

    keil在debug時(shí)出現(xiàn)Cannot access Memory*** error 122: AGDI: memory read failed (0xF81AF008)的原因?怎么解決?

    :“Cannot access Memory”“*** error 122: AGDI: memory read failed (0xF81AF008)”。
    發(fā)表于 04-23 08:13

    工程配置linker flags選項(xiàng)添加--print-memory-usage時(shí),ram打印是錯(cuò)誤的,為什么?

    工程配置linker flags選項(xiàng)添加--print-memory-usage時(shí),編譯后信息顯示flash和ram已使用的百分比%,發(fā)現(xiàn)ram打印是錯(cuò)誤的,ram實(shí)際沒(méi)有用到100%。 有人使用過(guò)
    發(fā)表于 04-17 08:19

    調(diào)試時(shí)Memory窗口中Flash內(nèi)容不更新的原因和解決辦法

    調(diào)試時(shí)在代碼中對(duì)Flash進(jìn)行寫(xiě)操作時(shí)(比如Bootloader對(duì)Code Flash進(jìn)行升級(jí)操作,Application對(duì)Data Flash進(jìn)行寫(xiě)操作),Memory窗口中Flash內(nèi)容不更新。
    的頭像 發(fā)表于 04-01 09:18 ?509次閱讀
    調(diào)試時(shí)<b class='flag-5'>Memory</b>窗口中Flash內(nèi)容不更新的原因和解決辦法

    如何利用高光譜相機(jī)實(shí)現(xiàn)精確的光譜分析

    空間信息基礎(chǔ)上增加第三維的光譜信息。 這種技術(shù)基于物質(zhì)對(duì)不同波長(zhǎng)光的吸收、反射特性具有"指紋"效應(yīng)的原理。每種物質(zhì)都有其獨(dú)特的光譜特征,通過(guò)分析這些特征,我們能夠準(zhǔn)確識(shí)別物質(zhì)的成分和狀態(tài)。 一、實(shí)現(xiàn)精確光譜分析的關(guān)鍵
    的頭像 發(fā)表于 03-28 17:05 ?407次閱讀
    如何利用高光譜相機(jī)<b class='flag-5'>實(shí)現(xiàn)</b>精確的光譜<b class='flag-5'>分析</b>?

    可以使用slwu087c Page18-20方法去做Read DDR Memory嗎?

    DDR Memory嗎? 要使用哪個(gè)燒錄檔? 我塬先是使用ADS42JB69_LMF_421,但是在HSDC上無(wú)法選取Trigger Option,最高的samples為131072,我想要samples再更多。 請(qǐng)問(wèn)我要怎么做才能在HSDC使用Read DDR Memory
    發(fā)表于 01-03 08:32

    如何實(shí)現(xiàn)EEPROM的低功耗模式

    EEPROM(Electrically Erasable Programmable Read-Only Memory,電可擦除可編程只讀存儲(chǔ)器)是一種非易失性存儲(chǔ)器,可以在不移除電源的情況下對(duì)存儲(chǔ)器
    的頭像 發(fā)表于 12-16 16:54 ?1015次閱讀

    不同類(lèi)型PROM器件的比較分析

    PROM(Programmable Read-Only Memory,可編程只讀存儲(chǔ)器)器件有多種類(lèi)型,包括PROM、EPROM(Erasable Programmable Read-Only
    的頭像 發(fā)表于 11-23 11:30 ?1601次閱讀

    EEPROM存儲(chǔ)功能的實(shí)現(xiàn)方式

    EEPROM(Electrically Erasable Programmable Read-Only Memory,電可擦可編程只讀存儲(chǔ)器)的存儲(chǔ)功能實(shí)現(xiàn)主要依賴(lài)于其獨(dú)特的浮柵晶體管結(jié)構(gòu)和工作原理。
    的頭像 發(fā)表于 09-05 12:34 ?2038次閱讀

    中低壓開(kāi)關(guān)柜如何實(shí)現(xiàn)健康分析

    蜀瑞創(chuàng)新小編分享:中低壓開(kāi)關(guān)柜是電力系統(tǒng)中的重要組成部分,用于分配和控制電能。為了確保其長(zhǎng)期穩(wěn)定運(yùn)行,進(jìn)行健康分析是非常必要的。健康分析可以幫助預(yù)測(cè)潛在的故障并及時(shí)采取措施,從而減少非計(jì)劃停機(jī)時(shí)間和維護(hù)成本。以下是實(shí)現(xiàn)中低壓開(kāi)關(guān)
    的頭像 發(fā)表于 08-12 14:53 ?477次閱讀
    中低壓開(kāi)關(guān)柜如何<b class='flag-5'>實(shí)現(xiàn)</b>健康<b class='flag-5'>分析</b>

    為什么有些TINA-TI仿真可以實(shí)現(xiàn)穩(wěn)態(tài)求解法分析,而有些不行?

    為什么有些TINA-TI仿真可以實(shí)現(xiàn)穩(wěn)態(tài)求解法分析,而有些不行,出現(xiàn)提示: ,無(wú)法執(zhí)行穩(wěn)態(tài)分析。 是有什么區(qū)別嗎?還是哪里需要設(shè)置嗎?
    發(fā)表于 08-08 08:28