高效地?cái)U(kuò)展Polars GPU Parquet讀取器

在處理大型數(shù)據(jù)集時(shí)，數(shù)據(jù)處理工具的性能至關(guān)重要。Polars 作為一個(gè)以速度和效率著稱的開(kāi)源數(shù)據(jù)處理庫(kù)，它提供了由 cuDF 驅(qū)動(dòng)的 GPU 加速后端，...

2025-04-21 標(biāo)簽：gpu讀取器虛擬內(nèi)存 130 0

PyTorch高效編程實(shí)戰(zhàn)指南

CUDA內(nèi)存池是對(duì)齊分配的，使用分散的block會(huì)帶來(lái)內(nèi)存碎片，同時(shí)對(duì)于相同操作，可以直接對(duì)contiguous buffer進(jìn)行操作，減少了更多的算子...

2024-03-25 標(biāo)簽：異步通信集群通信虛擬內(nèi)存 1753 0

拆解mmap內(nèi)存映射的本質(zhì)！

mmap 內(nèi)存映射里所謂的內(nèi)存其實(shí)指的是虛擬內(nèi)存，在調(diào)用 mmap 進(jìn)行匿名映射的時(shí)候（比如進(jìn)行堆內(nèi)存的分配），是將進(jìn)程虛擬內(nèi)存空間中的某一段虛擬內(nèi)存區(qū)...

2024-01-24 標(biāo)簽：JAVABSSLinux開(kāi)發(fā) 2242 0

32位4GB系統(tǒng)訪問(wèn)2GB數(shù)據(jù)，虛擬內(nèi)存會(huì)發(fā)生什么？

單核創(chuàng)建了多線程，CPU 會(huì)從一個(gè)進(jìn)程快速切換至另一個(gè)進(jìn)程，其間每個(gè)進(jìn)程各運(yùn)行幾十或幾百個(gè)毫秒，雖然單核的 CPU 在某一個(gè)瞬間，只能運(yùn)行一個(gè)進(jìn)程。

2024-01-22 標(biāo)簽：TCP多線程MMU 992 0

malloc 的實(shí)現(xiàn)原理

面試的時(shí)候經(jīng)常會(huì)被問(wèn)到 malloc 的實(shí)現(xiàn)。從操作系統(tǒng)層面來(lái)說(shuō)，malloc 確實(shí)是考察面試者對(duì)操作系統(tǒng)底層的存儲(chǔ)管理理解的一個(gè)很好的方式，涉及到虛擬...

2023-11-10 標(biāo)簽：存儲(chǔ)操作系統(tǒng)虛擬內(nèi)存 2178 0

內(nèi)存內(nèi)核中發(fā)生頁(yè)面遷移的典型場(chǎng)景

頁(yè)面遷移（page migrate）最早是為 NUMA 系統(tǒng)提供一種將進(jìn)程頁(yè)面遷移到指定內(nèi)存節(jié)點(diǎn)的能力用來(lái)提升訪問(wèn)性能。后來(lái)在內(nèi)核中廣泛被使用，如內(nèi)存規(guī)...

2023-11-08 標(biāo)簽：cpu內(nèi)存CMA 792 0

使用C語(yǔ)言你內(nèi)存泄露過(guò)嗎？

C語(yǔ)言是一種面向過(guò)程的編程語(yǔ)言，它廣泛應(yīng)用于操作系統(tǒng)、嵌入式系統(tǒng)、網(wǎng)絡(luò)設(shè)備等方面，因其高效、靈活和可控的特性而備受青睞。

2023-09-06 標(biāo)簽：嵌入式系統(tǒng)計(jì)算機(jī)C語(yǔ)言 595 0

為什么說(shuō)指針是C語(yǔ)言的靈魂呢？

指針是C語(yǔ)言的靈魂，這句話并不夸張。

2023-09-05 標(biāo)簽：C語(yǔ)言SWAPLINUX內(nèi)核 897 0

Linux中內(nèi)存管理子系統(tǒng)開(kāi)發(fā)必知的3個(gè)結(jié)構(gòu)概念

Linux中內(nèi)存管理子系統(tǒng)使用節(jié)點(diǎn)（node）、區(qū)域（zone）和頁(yè)（page）三級(jí)結(jié)構(gòu)描述物理內(nèi)存。

2023-08-28 標(biāo)簽：處理器dmaLINUX內(nèi)核 1063 0

Linux實(shí)現(xiàn)原理—虛擬內(nèi)存技術(shù)簡(jiǎn)析

虛擬內(nèi)存技術(shù)是操作系統(tǒng)實(shí)現(xiàn)的一種高效的物理內(nèi)存管理方式

2023-08-10 標(biāo)簽：觸發(fā)器緩存器調(diào)試器 1570 0

為什么需要虛擬內(nèi)存？虛擬內(nèi)存的概念與實(shí)現(xiàn)

面試的時(shí)候經(jīng)常會(huì)被問(wèn)到 malloc 的實(shí)現(xiàn)。從操作系統(tǒng)層面來(lái)說(shuō)，malloc 確實(shí)是考察面試者對(duì)操作系統(tǒng)底層的存儲(chǔ)管理理解的一個(gè)很好的方式，涉及到虛擬...

2023-08-09 標(biāo)簽：嵌入式cpu操作系統(tǒng) 3521 0

arm架構(gòu)的虛擬化是什么

為了支持虛擬化，Armv8-A支持兩步地址轉(zhuǎn)換，也就是文檔常提到的Stage2translation。Stage2轉(zhuǎn)換允許hypervisor控制虛擬機(jī)...

2023-08-07 標(biāo)簽：arm寄存器cpu 2237 0

一文詳解Linux虛擬內(nèi)存技術(shù)

　　以存儲(chǔ)單元為單位來(lái)管理顯然不現(xiàn)實(shí)，因此Linux把虛存空間分成若干個(gè)大小相等的存儲(chǔ)分區(qū)，Linux把這樣的分區(qū)叫做頁(yè)。為了換入、換出的方便，物理內(nèi)存...

2023-07-17 標(biāo)簽：LinuxLinux系統(tǒng)物理內(nèi)存 699 0

Linux虛擬內(nèi)存的基礎(chǔ)知識(shí)

　　內(nèi)存是程序得以運(yùn)行的重要物質(zhì)基礎(chǔ)。如何在有限的內(nèi)存空間運(yùn)行較大的應(yīng)用程序，曾是困擾人們的一個(gè)難題。為解決這個(gè)問(wèn)題，人們?cè)O(shè)計(jì)了許多的方案，其中最成功的...

2023-07-17 標(biāo)簽：處理器Linux內(nèi)存 430 0

虛擬內(nèi)存的基本概念

概述 我們都知道一個(gè)進(jìn)程是與其他進(jìn)程共享CPU和內(nèi)存資源的。正因如此，操作系統(tǒng)需要有一套完善的內(nèi)存管理機(jī)制才能防止進(jìn)程之間內(nèi)存泄漏的問(wèn)題。 為了更加有效...

2023-06-22 標(biāo)簽：硬盤(pán)操作系統(tǒng)虛擬內(nèi)存 1654 0