存儲(chǔ)技術(shù)：不同存儲(chǔ)技術(shù)的訪問時(shí)間差異很大。速度較快的技術(shù)每字節(jié)的成本要比速度較慢的技術(shù)高，而且容量小。

一種組織存儲(chǔ)器系統(tǒng)的方法，成為存儲(chǔ)器層次結(jié)構(gòu)（memory hierarchy）。如下圖所示，是一個(gè)典型的存儲(chǔ)器層次結(jié)構(gòu)。

一般而言，從高層往底層走，存儲(chǔ)設(shè)備變得更慢、更便宜和更大。

L0是少量快速的CPU寄存器，CPU可以在一個(gè)時(shí)鐘周期內(nèi)訪問它們。

L1、L2、L3是一個(gè)或多個(gè)小型到中型的基于SRAM的高速緩存存儲(chǔ)器，CPU可以在幾個(gè)時(shí)鐘周期內(nèi)訪問它們。

L4是一個(gè)大的基于DRAM的主存，CPU可以在幾十到幾百個(gè)時(shí)鐘周期內(nèi)訪問它們。

L5是慢速但是容量很大的本地磁盤。

L6是一層附加的遠(yuǎn)程服務(wù)器上的磁盤，需要通過網(wǎng)絡(luò)來訪問它們。

存儲(chǔ)器層次結(jié)構(gòu)的中心思想是：對(duì)于每個(gè)k，位于k層的更快更小的存儲(chǔ)設(shè)備作為位于k+1層的更大更慢的存儲(chǔ)設(shè)備的緩存。換句話說，層次結(jié)構(gòu)中的每一層都緩存來自較低一層的數(shù)據(jù)對(duì)象。

例如，本地磁盤作為通過網(wǎng)絡(luò)從遠(yuǎn)程磁盤取出的文件（如web頁面）的緩存，主存作為本地磁盤上數(shù)據(jù)的緩存，以此類推，直到最小的緩存—CPU寄存器。

如上圖所示，第k層的存儲(chǔ)器被劃分成較少的塊的集合，每個(gè)塊的大小與k+1層的塊的大小一樣。在任何時(shí)刻，第k層的緩存包含第k+1層塊的一個(gè)子集的副本。

當(dāng)程序需要第k+1層的某個(gè)數(shù)據(jù)對(duì)象d時(shí)，首先在當(dāng)前存儲(chǔ)在第k層的一個(gè)塊中查找d。如果d剛好緩存在第k層，那么就是緩存命中（cache hit）。該程序直接從第k層讀取d，根據(jù)存儲(chǔ)器層次結(jié)構(gòu)的性質(zhì)，這要比從第k+1層讀取d更快。另一方面，如果第k層沒有緩存數(shù)據(jù)對(duì)象d，即緩存不命中（cache miss）。當(dāng)發(fā)生緩存不命中時(shí)，第k層的緩存從第k+1層緩存中取出包含d的那個(gè)塊，如果第k層緩存已經(jīng)滿了，就會(huì)覆蓋現(xiàn)存的一個(gè)塊。

概況來說，基于緩存的存儲(chǔ)器層次結(jié)構(gòu)行之有效，是因?yàn)檩^慢的存儲(chǔ)設(shè)備比較快的存儲(chǔ)設(shè)備更便宜，還因?yàn)槌绦騼A向于展示局部性：

利用時(shí)間局部性：由于時(shí)間局部性，同一數(shù)據(jù)對(duì)象可能會(huì)被多次使用。一旦一個(gè)數(shù)據(jù)對(duì)象在第一次不命中時(shí)被復(fù)制到緩存中，我們就會(huì)期望后面對(duì)該目標(biāo)有一系列的訪問命中，從而提高訪問速度。

利用空間局部性：塊通常包含有多個(gè)數(shù)據(jù)對(duì)象，由于空間局部性，我們會(huì)期望后面對(duì)該塊中其他對(duì)象的訪問能夠補(bǔ)償不命中后復(fù)制該塊的花費(fèi)。