高效地擴展Polars GPU Parquet讀取器

在處理大型數(shù)據(jù)集時，數(shù)據(jù)處理工具的性能至關重要。Polars 作為一個以速度和效率著稱的開源數(shù)據(jù)處理庫，它提供了由 cuDF 驅動的 GPU 加速后端，...

2025-04-21 標簽：gpu讀取器虛擬內存 271 0

PyTorch高效編程實戰(zhàn)指南

CUDA內存池是對齊分配的，使用分散的block會帶來內存碎片，同時對于相同操作，可以直接對contiguous buffer進行操作，減少了更多的算子...

2024-03-25 標簽：異步通信集群通信虛擬內存 1827 0

拆解mmap內存映射的本質！

mmap 內存映射里所謂的內存其實指的是虛擬內存，在調用 mmap 進行匿名映射的時候（比如進行堆內存的分配），是將進程虛擬內存空間中的某一段虛擬內存區(qū)...

2024-01-24 標簽：JAVABSSLinux開發(fā) 2451 0

32位4GB系統(tǒng)訪問2GB數(shù)據(jù)，虛擬內存會發(fā)生什么？

單核創(chuàng)建了多線程，CPU 會從一個進程快速切換至另一個進程，其間每個進程各運行幾十或幾百個毫秒，雖然單核的 CPU 在某一個瞬間，只能運行一個進程。

2024-01-22 標簽：TCP多線程MMU 1082 0

malloc 的實現(xiàn)原理

面試的時候經(jīng)常會被問到 malloc 的實現(xiàn)。從操作系統(tǒng)層面來說，malloc 確實是考察面試者對操作系統(tǒng)底層的存儲管理理解的一個很好的方式，涉及到虛擬...

2023-11-10 標簽：存儲操作系統(tǒng)虛擬內存 2304 0

內存內核中發(fā)生頁面遷移的典型場景

頁面遷移（page migrate）最早是為 NUMA 系統(tǒng)提供一種將進程頁面遷移到指定內存節(jié)點的能力用來提升訪問性能。后來在內核中廣泛被使用，如內存規(guī)...

2023-11-08 標簽：cpu內存CMA 881 0

使用C語言你內存泄露過嗎？

C語言是一種面向過程的編程語言，它廣泛應用于操作系統(tǒng)、嵌入式系統(tǒng)、網(wǎng)絡設備等方面，因其高效、靈活和可控的特性而備受青睞。

2023-09-06 標簽：嵌入式系統(tǒng)計算機C語言 698 0

為什么說指針是C語言的靈魂呢？

指針是C語言的靈魂，這句話并不夸張。

2023-09-05 標簽：C語言SWAPLINUX內核 978 0

Linux中內存管理子系統(tǒng)開發(fā)必知的3個結構概念

Linux中內存管理子系統(tǒng)使用節(jié)點（node）、區(qū)域（zone）和頁（page）三級結構描述物理內存。

2023-08-28 標簽：處理器dmaLINUX內核 1153 0

Linux實現(xiàn)原理—虛擬內存技術簡析

虛擬內存技術是操作系統(tǒng)實現(xiàn)的一種高效的物理內存管理方式

2023-08-10 標簽：觸發(fā)器緩存器調試器 1672 0

為什么需要虛擬內存？虛擬內存的概念與實現(xiàn)

面試的時候經(jīng)常會被問到 malloc 的實現(xiàn)。從操作系統(tǒng)層面來說，malloc 確實是考察面試者對操作系統(tǒng)底層的存儲管理理解的一個很好的方式，涉及到虛擬...

2023-08-09 標簽：嵌入式cpu操作系統(tǒng) 3628 0

arm架構的虛擬化是什么

為了支持虛擬化，Armv8-A支持兩步地址轉換，也就是文檔常提到的Stage2translation。Stage2轉換允許hypervisor控制虛擬機...

2023-08-07 標簽：arm寄存器cpu 2328 0

一文詳解Linux虛擬內存技術

　　以存儲單元為單位來管理顯然不現(xiàn)實，因此Linux把虛存空間分成若干個大小相等的存儲分區(qū)，Linux把這樣的分區(qū)叫做頁。為了換入、換出的方便，物理內存...

2023-07-17 標簽：LinuxLinux系統(tǒng)物理內存 754 0

Linux虛擬內存的基礎知識

　　內存是程序得以運行的重要物質基礎。如何在有限的內存空間運行較大的應用程序，曾是困擾人們的一個難題。為解決這個問題，人們設計了許多的方案，其中最成功的...

2023-07-17 標簽：處理器Linux內存 459 0

虛擬內存的基本概念

概述 我們都知道一個進程是與其他進程共享CPU和內存資源的。正因如此，操作系統(tǒng)需要有一套完善的內存管理機制才能防止進程之間內存泄漏的問題。 為了更加有效...

2023-06-22 標簽：硬盤操作系統(tǒng)虛擬內存 1750 0