1， 簡(jiǎn)介

DDR SDRAM(Double Data Rate Synchronous Dynamic Random Access Memory，雙數(shù)據(jù)率同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器)通常被我們稱為DDR，其中的“同步”是指內(nèi)存工作需要同步時(shí)鐘，內(nèi)部命令的發(fā)送與數(shù)據(jù)傳輸都以它為基準(zhǔn)。DDR是一種掉電就丟失數(shù)據(jù)的存儲(chǔ)器件，并且需要定時(shí)的刷新來保持?jǐn)?shù)據(jù)的完整性。

DDR是我們嵌入式系統(tǒng)使用比較多的硬件，但是平時(shí)我們?cè)谧鲕浖_發(fā)或者優(yōu)化的時(shí)候，對(duì)它的組成及工作原理了解卻很少。主要原因是對(duì)于DDR的軟件開發(fā)主要是配置參數(shù)，而這些參數(shù)由芯片廠商已經(jīng)提供好了。其實(shí)，要想對(duì)系統(tǒng)做深度的功耗優(yōu)化和性能優(yōu)化，是很有必要深挖DDR的組成與工作原理的細(xì)節(jié)。

現(xiàn)在嵌入式系統(tǒng)設(shè)計(jì)或者計(jì)算機(jī)設(shè)計(jì)，考慮到存儲(chǔ)性能、存儲(chǔ)容量、成本等因素，通常采用存儲(chǔ)金字塔式的設(shè)計(jì)，比如CPU后面緊接著寄存器，寄存器后面跟著cache，cache后面緊接著DDR，然后DDR后面跟著SSD、EMMC等非易失。通過利用程序的時(shí)間及空間局部性原理，可以在盡可能少的影響性能的前提下，增加存儲(chǔ)容量，降低存儲(chǔ)成本。

隨著CPU 發(fā)展，內(nèi)存也發(fā)生了巨大的變革，DDR從誕生到現(xiàn)在已經(jīng)經(jīng)歷了多代，分別是第一代SDR SDRAM(Single Data Rate SDRAM，同步型動(dòng)態(tài)存儲(chǔ)器)，第二代的DDR SDRAM，第三代的DDR2 SDRAM，第四代的DDR3 SDRAM，現(xiàn)在已經(jīng)發(fā)展到DDR5 SDRAM。為了實(shí)現(xiàn)容量增加和傳輸效能增加，規(guī)范的工作電壓越來越低，DDR容量越來越大，IO的速度越來越高。

歷代ddr特性對(duì)比

Voltage(VDDQ)：存儲(chǔ)芯片的輸出緩沖供電電壓。

Device Width：顆粒位寬，常見為4/8/16bit。一個(gè)Memory Array中由行地址和列地址的交叉選中一個(gè)位，若2個(gè)Array疊加在一起，就同時(shí)選中了2個(gè)Bit，位寬是X2。若4個(gè)Array疊加到一起，就能夠同時(shí)選中4個(gè)Bit，位寬則是X4。也就是說，對(duì)一個(gè)X4位寬的DDR 顆粒，如果給出行地址和列地址，就會(huì)同時(shí)輸出4個(gè)Bit到DQ(數(shù)據(jù)輸入、輸出：雙向數(shù)據(jù)總線)數(shù)據(jù)線上。

Die Density：顆粒密度，也就是容量，隨著DDR迭代，容量越來越大。

Data rates：MT/s指每秒傳輸多少個(gè)數(shù)據(jù)(Mega-transfer per second)，和時(shí)鐘頻率是兩個(gè)不同的概念。DDR(dual data rate)是雙邊沿傳輸數(shù)據(jù)。因此MT/s是IO時(shí)鐘頻率的兩倍。

Prefetch：在一個(gè)時(shí)鐘周期中，同時(shí)將相鄰列地址的數(shù)據(jù)一起取出來，并行取出DRAM數(shù)據(jù)，再由列地址0/1/2(DDR1使用列0，DDR2使用列0和列1，DDR3/DDR4使用列0,1和2)選擇輸出。2n/4n/8n。這里的數(shù)字指的就是并行取出的位數(shù)。這里的n，就是DQ位寬，即上面的device width(x4/x8/x16)。所以DDR3 16bit SDRAM內(nèi)存顆粒，16bit指的是位寬，其一次讀寫訪問的數(shù)據(jù)量是8*16=128bit

Bank：DDR4以前是沒有Bank Group的，所以該值就表示整個(gè)顆粒中Bank數(shù)量。但是在DDR4和DDR5中，就表示每個(gè)Bank Group中Bank的數(shù)量，整個(gè)顆粒Bank數(shù)量 = Bank Group * Bank。

Bank Group：Bank分組數(shù)量，該特性只存在于DDR4和DDR5中。

Burst Length：指突發(fā)長(zhǎng)度，突發(fā)是指在同一行中相鄰的存儲(chǔ)單元連續(xù)進(jìn)行數(shù)據(jù)傳輸?shù)姆绞?，連續(xù)傳輸所涉及到存儲(chǔ)單元(列)的數(shù)量就是突發(fā)長(zhǎng)度，在DDR SDRAM中指連續(xù)傳輸?shù)闹芷跀?shù)。 一般對(duì)應(yīng)預(yù)取bit數(shù)目。

Core frequency：顆粒核心頻率，即內(nèi)存cell陣列的工作頻率，它讀取數(shù)據(jù)到IO Buffer的頻率。 它是內(nèi)存頻率的基礎(chǔ)，其他頻率都是在該頻率的基礎(chǔ)上得出來的。

IO clk Frequency：內(nèi)存的數(shù)據(jù)傳輸速率。 它和內(nèi)存的prefetch有關(guān)。 對(duì)于DDR，一個(gè)時(shí)鐘周期的上升沿和下降沿都在傳輸數(shù)據(jù)，即一個(gè)時(shí)鐘周期傳輸2bit的數(shù)據(jù)，所以DDR的prefetch為2bit。 對(duì)于DDR2，IO時(shí)鐘頻率是其核心頻率的兩倍，同時(shí)也是雙沿傳輸數(shù)據(jù)，因此DDR2的prefetch為2×2bit=4bit。 對(duì)于DDR3，IO時(shí)鐘頻率是其核心頻率的四倍，同時(shí)也是雙沿傳輸數(shù)據(jù)，因此DDR3的prefetch為4×2bit=8bit。

DDR SDRAM是由威盛等公司提出的第二代SDRAM標(biāo)準(zhǔn)，主要它允許在時(shí)鐘脈沖的上升沿和下降沿都能傳輸數(shù)據(jù)，這樣不需要提高時(shí)鐘頻率就能實(shí)現(xiàn)雙倍的SDRAM提速。 DDR2 SDRAM是由電子設(shè)備工程聯(lián)合委員會(huì)開的第三代SDRAM內(nèi)存技術(shù)標(biāo)準(zhǔn)，相比上一代提供了更高運(yùn)行效能(擁有兩倍與上一代的預(yù)讀取能力，4bit數(shù)據(jù)prefetch)和更低的電壓(1.8v)。 DDR3 SDRAM相比上一代，電壓更低(1.5v)，效能更高(支持8bit prefetch)，只需133MHz就能實(shí)現(xiàn)1066MHz的總線頻率。 DDR4相比上一代，工作電壓更低(1.2v)，效能更高(16bit prefetch)，同樣的頻率下，理論速度是上一代的兩倍。

2， 框架

DDR子系統(tǒng)框圖

DDR SDRAM子系統(tǒng)包含DDR controller、DDR PHY和DRAM存儲(chǔ)顆粒三部分。我們分別看一下各部分的組成，然后講述一下數(shù)據(jù)的讀寫過程。

2.1 DDR控制器

內(nèi)存控制器負(fù)責(zé)初始化DRAM，并重排讀寫命令，以獲得最大的DRAM帶寬。它通過多端口與其他用戶核進(jìn)行連接，這些端口的類型包含AXI4/AXI3/AHB/CHI。每個(gè)端口有可配置的寬度、命令和數(shù)據(jù)FIFO。

內(nèi)存控制器接收來自于一個(gè)或者多個(gè)CPU、DSP、GPU的請(qǐng)求，這些請(qǐng)求使用的地址是邏輯地址，由仲裁器來決定這些請(qǐng)求的優(yōu)先級(jí)，并將其放入內(nèi)存控制器中。如果一個(gè)請(qǐng)求處于高優(yōu)先級(jí)(贏得仲裁)，會(huì)被映射到一個(gè)DRAM的物理地址并被轉(zhuǎn)換為一個(gè)DRAM命令序列。這些命令序列被放置在內(nèi)存控制器中的隊(duì)列池(Queue pool)中，內(nèi)存控制器會(huì)執(zhí)行隊(duì)列池中這些被掛起的命令，并將邏輯地址轉(zhuǎn)化為物理地址，并由狀態(tài)機(jī)輸出符合DRAM訪問協(xié)議的電信號(hào)，經(jīng)由PHY驅(qū)動(dòng)DRAM的物理IO口。

Arbitration CMD priority：仲裁器，仲裁CMD的優(yōu)先級(jí)。 會(huì)對(duì)來自各端口的請(qǐng)求進(jìn)行仲裁，并將請(qǐng)求發(fā)送給控制器，仲裁其從端口收到的每個(gè)事務(wù)，每個(gè)事務(wù)都有一個(gè)相對(duì)應(yīng)的優(yōu)先級(jí)。 端口仲裁邏輯會(huì)根據(jù)優(yōu)先級(jí)進(jìn)行處理，從而確定如何向控制器發(fā)出請(qǐng)求。 以Cadence Denali內(nèi)存控制器為例，它有幾種仲裁策略：

Round Robin：每個(gè)端口對(duì)應(yīng)一個(gè)獨(dú)立的計(jì)數(shù)器，當(dāng)端口上有請(qǐng)求被接受的時(shí)候，計(jì)數(shù)器就會(huì)增加，然后仲裁器會(huì)針對(duì)計(jì)數(shù)器非0的端口的請(qǐng)求進(jìn)行輪流仲裁，每仲裁執(zhí)行一次，相應(yīng)端口的計(jì)數(shù)器減一，直到端口接受請(qǐng)求計(jì)數(shù)器變?yōu)?。

帶寬分配/優(yōu)先級(jí)輪流操作：結(jié)合輪流操作、優(yōu)先級(jí)、帶寬和端口帶寬保持等，根據(jù)用戶分配的命令優(yōu)先級(jí)，將傳入的命令按優(yōu)先級(jí)分組。 在每個(gè)優(yōu)先級(jí)組內(nèi)，仲裁器評(píng)估請(qǐng)求的端口、命令隊(duì)列和請(qǐng)求的優(yōu)先級(jí)，從而確定優(yōu)先級(jí)。 當(dāng)控制器繁忙時(shí)，超過其帶寬分配的端口，可能會(huì)接受較低的優(yōu)先級(jí)服務(wù)。

加權(quán)優(yōu)先級(jí)循環(huán)：是一種面向服務(wù)質(zhì)量的算法，結(jié)合了循環(huán)操作、優(yōu)先級(jí)、相對(duì)優(yōu)先級(jí)、端口排序的功能。 根據(jù)命令的優(yōu)先級(jí)或該類型命令的相關(guān)端口的優(yōu)先級(jí)，將傳入的命令分成優(yōu)先級(jí)組。 具有較高權(quán)重的端口可能會(huì)更頻繁的接受仲裁，從而更容易被運(yùn)行到。

DDR SDRAM Control：DDR SDRAM的控制。 包含了一個(gè)命令隊(duì)列，接受來自仲裁器的命令。 該命令隊(duì)列使用一個(gè)重排算法來決定命令的放置順序。 重排邏輯遵循一些規(guī)則，通過考慮地址碰撞、源碰撞、數(shù)據(jù)碰撞、命令類型和優(yōu)先級(jí)，來確定命令插入到命令隊(duì)列的位置。 重排邏輯還通過命令分組和bank分割，來提高控制器的效率。 當(dāng)命令進(jìn)入命令隊(duì)列后，選擇邏輯掃描命令隊(duì)列中的命令進(jìn)行運(yùn)行。 若較高優(yōu)先級(jí)的命令還沒有準(zhǔn)備好運(yùn)行，較低優(yōu)先級(jí)的命令不與命令隊(duì)列中排在前面的命令沖突，那么這個(gè)較低優(yōu)先級(jí)的命令，可以先于該沒準(zhǔn)備好的高優(yōu)先級(jí)命令運(yùn)行。 此外，控制器還包含一個(gè)仲裁塊，支持軟件可編程接口、外部引腳及計(jì)數(shù)器的低功耗控制。 另外，控制器支持調(diào)頻功能，用戶可以通過操作寄存器組，調(diào)整ddr的工作頻率。

Transaction Processing：事務(wù)處理用于處理命令隊(duì)列中的命令。 該邏輯會(huì)重排命令，使DRAM的讀寫帶寬吞吐最大化。

2.2 DDR 物理層

DDR PHY是連接DDR顆粒和DDR Controller的橋梁，它負(fù)責(zé)把DDR Controller發(fā)過來的數(shù)據(jù)轉(zhuǎn)換成符合DDR協(xié)議的信號(hào)，并發(fā)送到DDR顆粒。相反地，它也負(fù)責(zé)把DRAM發(fā)送過來的數(shù)據(jù)轉(zhuǎn)換成符合DFI(DDR PHY Interface)協(xié)議的信號(hào)并發(fā)送給內(nèi)存控制器。DDR PHY和內(nèi)存控制器統(tǒng)稱為DDR IP，他們保證了SoC和DRAM之間的數(shù)據(jù)傳輸。

目前在DDR IP的市場(chǎng)上，國(guó)際廠商占據(jù)較高的市場(chǎng)份額，而國(guó)內(nèi)IP企業(yè)占比很小，究其原因，主要是由于DDR PHY具有較高的技術(shù)門檻，要在這類PHY上實(shí)現(xiàn)突破并不容易。DDR PHY是一個(gè)系統(tǒng)工程，在如下方面需要著重關(guān)注：* DDR PHY的數(shù)據(jù)傳輸采用并行多位、單端突發(fā)的傳輸模式，對(duì)電源完整性PI(Power Integrity，電源完整性)和信號(hào)完整性SI (Signal Integrity，信號(hào)完整性)的要求很高。

為了能夠補(bǔ)償不確定的延時(shí)，針對(duì)不同信號(hào)，DDR PHY有個(gè)靈活配置的延時(shí)電路及對(duì)應(yīng)的輔助邏輯，這些延時(shí)電路可能會(huì)隨著電壓及溫度變化而變化。 因此PHY針對(duì)這些電路要有校準(zhǔn)(Training)，可以說DDR PHY是對(duì)Training要求最多的接口。

2.3 DDR DRAM顆粒

從DDR PHY到內(nèi)存顆粒的層次關(guān)系如下：channel->DIMM->rank->chip->bank->row/column組成的memory array。例如，i7 CPU 支持兩個(gè)Channel(雙通道)，每個(gè)Channel上可以插2個(gè)DIMM(dual inline memory module，雙列直插式存儲(chǔ)模塊)，每個(gè)DIMM由2個(gè)rank構(gòu)成，8個(gè)chip組成一個(gè)rank。由于現(xiàn)在多數(shù)芯片的位寬是8bit，而CPU的位寬是64bit，因此經(jīng)常是8個(gè)芯片可以組成一個(gè)rank。* Channel：簡(jiǎn)單理解一個(gè)通道對(duì)應(yīng)一個(gè)DDR控制器，每個(gè)通道擁有一組地址線、控制線和數(shù)據(jù)線。

DIMM：是主板上的一個(gè)內(nèi)存插槽，一個(gè)channel可以包含多個(gè)DIMM。

Rank：一組可以被一個(gè)內(nèi)存通道同時(shí)訪問的芯片組合稱作一個(gè)rank，一個(gè)rank中的每個(gè)芯片都共用內(nèi)存通道提供的地址線、控制線和數(shù)據(jù)線，同時(shí)每個(gè)芯片都提供一組輸出線，這些輸出線組合起來就是內(nèi)存條的輸出線。 簡(jiǎn)單來說rank是一組內(nèi)存芯片集合，當(dāng)芯片位寬芯片數(shù)=64bit(內(nèi)存總位寬)時(shí)，這些芯片組成一個(gè)Rank，存儲(chǔ)64bit的數(shù)據(jù)。 一般每個(gè)芯片位寬是8bit，然后內(nèi)存條每面8個(gè)芯片，那么每面就構(gòu)成了一個(gè)Rank，這兩面的Rank通過一根地址線來區(qū)分當(dāng)前要訪問的是哪一面。 同一個(gè)Rank中所有的芯片協(xié)作來讀取一個(gè)地址(1個(gè)Rank，8個(gè)芯片8bit=64bit)，這個(gè)地址的不同bit，每8個(gè)一組分散在這個(gè)Rank上的不同芯片上。 設(shè)計(jì)Rank的原因是為了減少每個(gè)芯片的位寬(在CPU總位寬確定的前提下，比如64bit)，降低復(fù)雜度。

Chip：是內(nèi)存條上的一個(gè)芯片，由多個(gè)bank組成，大多數(shù)是4bit/8bit/16bit，多個(gè)chip做成一個(gè)rank，配合完成一次訪問的位寬。

Bank：是一個(gè)邏輯上的概念。 一個(gè)bank可以分散到多個(gè)chip上，一個(gè)chip也可以包含多個(gè)bank。

Row、Column組成的memory array：可以簡(jiǎn)單的理解bank為一個(gè)二維bit類型的數(shù)組。 每個(gè)bank對(duì)應(yīng)一個(gè)bit，8個(gè)bank組成8bit的數(shù)據(jù)。

3， DRAM剖析

接下來深入的剖析一下DRAM的組成及工作原理。對(duì)于DRAM的原理，看到一篇很不錯(cuò)的文章《深入內(nèi)存/主存：解剖DRAM存儲(chǔ)器 - 知乎 (zhihu.com)》，以下內(nèi)容基本上來自于這篇文章。

3.1 基本結(jié)構(gòu)

1)DRAM的基本單元

基本的DRAM單元(cell)，是一個(gè)電容加一個(gè)CMOS晶體管組成的電路。通過給晶體管最上面的一端(稱作柵極)加上電壓或是取消電壓，就可以控制CMOS晶體管的開、關(guān)。一旦打開就可以讀出電容上存儲(chǔ)的電量，或者向電容寫入電量。這樣電容上的電荷有無就對(duì)應(yīng)著存儲(chǔ)1bit的1或0。

內(nèi)存單元

為了存儲(chǔ)更多的bit，可以用如上的DRAM單元組成存儲(chǔ)陣列。行對(duì)應(yīng)的是word line，即字線。列對(duì)應(yīng)的是bit line，即位線。當(dāng)某一行的字線上通電后，這一行的cell上的電容就會(huì)經(jīng)過位線進(jìn)行充放電。通過讀取位線上的電壓變化，就能判斷存儲(chǔ)的是0，還是1。由于電容很小，打開字線后產(chǎn)生的電壓波動(dòng)也很小，所以在讀取的時(shí)候，要經(jīng)過sense amplifier進(jìn)行放大。

每個(gè)位線都接在一個(gè)放大器上，由于每個(gè)cell的電容太小了，在讀某一bit前，先對(duì)bit line進(jìn)行precharge。預(yù)充的電壓為工作電壓的一半。這樣在打開字線后，位線上的輕微變化也能被放大器捕捉到，并在本地還原、暫存字線對(duì)應(yīng)整行cell的電壓。其實(shí)，當(dāng)讀了位線(電容放電)后，電容上的電荷就會(huì)發(fā)生了改變，這是一種破壞性讀出。為了解決這個(gè)問題，就需要放大器在讀取cell存儲(chǔ)的數(shù)據(jù)后，利用暫存的cell電壓寫回字線單元行。

cell存儲(chǔ)陣列

2)DRAM刷新

由于cell的電容很小，并且CMOS晶體管在關(guān)閉的時(shí)候，也存在漏電，這樣電容上的電荷也在隨著時(shí)間的變化，逐漸變少。時(shí)間一長(zhǎng)，存儲(chǔ)的信息就會(huì)丟失。為了解決這一問題，具體做法是對(duì)于每個(gè)單元行，每過一段時(shí)間就自主地進(jìn)行讀取，等放大器暫存好信息后就立刻將其寫回行。關(guān)于單元行的刷新時(shí)機(jī)也很有講究，一般每64ms內(nèi)就要對(duì)cell陣列進(jìn)行一次全面刷新。

3.2 DRAM的讀寫

cell陣列+外圍邏輯

1) DRAM讀過程

在讀取DRAM芯片上單個(gè)比特?cái)?shù)據(jù)時(shí)：* 讀取前，先給各條位線預(yù)充電(也稱為precharge)，即把位線電壓拉高到供電電壓的一半。拉高到一半的目的是和cell電容電壓形成電壓差，從而在打開單元行時(shí)，可利用電容的微弱充放電產(chǎn)生電壓波動(dòng)。預(yù)充電完成后，就可以斷開位線與預(yù)充電電源的連接，此時(shí)位線處于懸空態(tài)，電壓會(huì)保持為供電電壓的一半。

開始讀取，首先在地址總線上輸入行地址，稍后立刻置“行地址選通”(即RAS)有效，置RAS有效后，DRAM芯片就把行地址緩存下來。

緩存好行地址之后，就把行地址送入譯碼模塊，譯碼模塊把行地址譯碼成獨(dú)熱碼，獨(dú)熱碼的每一位都接到對(duì)應(yīng)的字線，然后把其中一條字線的電壓值拉高。

把地址線上的地址從行地址轉(zhuǎn)換成列地址，轉(zhuǎn)換成列地址之后，外界會(huì)置“列地址選通”有效，然后DRAM會(huì)把列地址緩存起來。

拉高的字線所對(duì)應(yīng)的單元行被打開，即單元行的所有晶體管導(dǎo)通，單元行的各個(gè)cell電容和位線連通。 如果cell保存比特信息1，即cell電容的電壓等于供電電壓，此時(shí)cell電容電壓高于位線電壓，電容放電，位線的電壓稍稍上升。 如果cell保存比特信息0，即cell電容的電壓等于地電壓，即0電壓，此時(shí)位線電壓高于cell電容電壓，位線向cell電容充電，位線電壓稍稍下降。

放大器捕捉位線上的微弱電壓波動(dòng)，通過“差分感測(cè)”在本地生成并暫存cell電容電壓。 如果cell電容等于供電電壓，那么位線電壓稍稍上升，放大器比較此位線和另一條基準(zhǔn)線的電壓，通過模擬電路的反饋來放大兩者的電壓差，最終在本地生成一個(gè)等于供電電壓的輸出電壓，并用鎖存器把輸出電壓鎖存下來。 如果cell電容電壓等于0，放大器最終生成等于0的輸出電壓，并用鎖存器把0電壓鎖存下來。

放大器鎖存好行數(shù)據(jù)之后，把行數(shù)據(jù)送往多到一選擇器。

列地址緩存就把列地址送到多到一選擇器，多到一選擇器根據(jù)列地址，把單元行中的某一位送到輸出線。

輸出之后，還需要把放大器的數(shù)據(jù)寫回到單元行，即根據(jù)放大器的鎖存值，把位線拉高到供電電壓或是0電壓，位線向cell電容充放電，充放電結(jié)束之后，就可以關(guān)閉字線。

寫回?cái)?shù)據(jù)并關(guān)閉字線之后，連接位線和預(yù)充電電源，給位線預(yù)充電到供電電壓的一半，為下一次讀寫做好準(zhǔn)備。

2) DRAM寫過程

寫過程和讀過程比較類似，就不詳細(xì)描述，主要描述有差異的地方：* 位線預(yù)充電到供電電壓的一半。

輸入、緩存行地址，譯碼行地址，開通單元行，開通單元行后位線產(chǎn)生電壓波動(dòng)，放大器捕捉電壓波動(dòng)并還原、暫存行數(shù)據(jù)到本地。

輸入、緩存列地址，與此同時(shí)置寫使能有效，并在Data Buffer存進(jìn)寫入比特，注意，Data Buffer在讀取DRAM時(shí)用來暫存輸出比特，而在寫DRAM時(shí)則用來暫存寫入比特。

把寫入比特送到一到多分配器，分配器根據(jù)列地址把寫入比特送到對(duì)應(yīng)的放大器中，放大器根據(jù)寫入比特改寫本地暫存值。

放大器根據(jù)暫存的電壓值刷新單元行，刷新完畢后斷開單元行的字線。

刷新完畢后，重新給位線預(yù)充電，為下一次讀寫做好準(zhǔn)備。

總的來說，讀取一個(gè)比特的總體過程：獲得行號(hào)，譯碼行號(hào)，開啟單元行，放大位線電壓波動(dòng)并暫存數(shù)據(jù)到放大器，獲得列號(hào)并根據(jù)列號(hào)選擇一位進(jìn)行輸出，寫回?cái)?shù)據(jù)，關(guān)閉字線，重新預(yù)充電。 寫一個(gè)比特的總體過程是：獲得行號(hào)，譯碼行號(hào)，開啟單元行，放大位線電壓波動(dòng)并暫存數(shù)據(jù)到放大器，獲得列號(hào)并輸入寫入數(shù)據(jù)，根據(jù)列號(hào)把寫入數(shù)據(jù)送到放大器并改寫暫存值，寫回?cái)?shù)據(jù)，關(guān)閉字線，重新預(yù)充電。

你可能會(huì)疑問，要訪問的一個(gè)字節(jié)的其他7bit是不是也存在這些單元行里，答案是否定的。 其實(shí)，還存在7個(gè)這樣的bit存儲(chǔ)陣列，其中相同的行列地址在這7個(gè)bit存儲(chǔ)陣列相同位置取出相應(yīng)的bit，這樣便得到了完整的8bit(一個(gè)字節(jié))數(shù)據(jù)。

另外，在讀寫過程中，時(shí)間主要消耗在“開啟單元行”與“放大電壓波動(dòng)并暫存數(shù)據(jù)”。 單元行的柵極可以抽象成一個(gè)個(gè)電容的并聯(lián)，因此字線的拉高就是給這么多電容充電的一個(gè)過程，這將是很耗時(shí)及耗電的。 由于放大器大部分是模擬電路，所以他的工作也不快。 那么怎么提高DRAM的讀寫速度呢? 關(guān)鍵點(diǎn)在放大器的緩存區(qū)(row buffer)，它緩存了單元行，但是一般我們只取出了其中的一個(gè)bit。 如果要想提升速寫速度，那就還訪問這個(gè)單元行的其他bit，這時(shí)會(huì)直接從row buffer中取出相應(yīng)的數(shù)據(jù)，不需要經(jīng)歷開啟單元行、放大、讀寫數(shù)、寫回的耗時(shí)過程。

3.3 DRAM系統(tǒng)層次

DRAM的系統(tǒng)層次如下：channel->DIMM->rank->chip->bank->row/column組成的memory array->存儲(chǔ)cell。

1)銀行

如下是一個(gè)8陣列bank。其中每個(gè)rank中的行列定位到的小方塊，是一個(gè)cell，對(duì)應(yīng)一個(gè)bit。行、列組成了一個(gè)memory array，即一個(gè)bank。8個(gè)bank組成了8 bank的陣列，通過行、列地址可以得到8 bit的輸出。

8陣列bank

一個(gè)8陣列bank一次讀寫8個(gè)比特，一顆存儲(chǔ)芯片上一般含有多個(gè)bank。下圖是一顆含有8個(gè)bank的存儲(chǔ)芯片的示意圖。芯片每次讀寫都只針對(duì)一個(gè)bank，因此讀寫地址必須包含一個(gè)bank號(hào)，bank號(hào)用于開啟目標(biāo)bank，目標(biāo)bank之外的bank是不工作的。

包含8個(gè)8陣列bank的存儲(chǔ)芯片

2)Rank和DIMM

電腦用的內(nèi)存芯片都嵌在一個(gè)電路板上，把這個(gè)電路板插入內(nèi)存插槽后，就可增加電腦內(nèi)存。電路板和板上的芯片，就是所謂的內(nèi)存條，也稱為DIMM條。內(nèi)存條通過“內(nèi)存通道”連接到內(nèi)存控制器，一組可以被一個(gè)內(nèi)存通道同時(shí)訪問的芯片稱作一個(gè)rank。一個(gè)rank中的每個(gè)芯片，都共用內(nèi)存通道提供的地址線、控制線和數(shù)據(jù)線，同時(shí)每個(gè)芯片都提供一組輸出線，這些輸出線組合起來就是內(nèi)存條的輸出線。

對(duì)于一個(gè)包含8顆芯片的DIMM條。這8顆芯片被一個(gè)內(nèi)存通道同時(shí)訪問，所以它們合稱為一個(gè)rank。有的DIMM條有兩面，即兩面都有內(nèi)存芯片，這種DIMM條擁有兩個(gè)rank。

若每個(gè)芯片都包含8個(gè)bank，每個(gè)bank都包含8個(gè)陣列，那么這條內(nèi)存條就可以一次讀寫8×8=64比特，其中第一個(gè)8是指每個(gè)芯片輸出8位，第二個(gè)8是指這個(gè)rank總共有8顆芯片，因?yàn)檫@8顆芯片被同一個(gè)內(nèi)存通道訪問，所以其被訪問的bank和bank內(nèi)的行地址、列地址都是完全一致的。下圖是一個(gè)描述這個(gè)過程的簡(jiǎn)圖：顯然，我們?cè)谧x寫8顆芯片同一個(gè)bank同一個(gè)位置的cell。注意，圖中沒有顯示不在工作狀態(tài)的bank。對(duì)一個(gè)rank讀寫，即同時(shí)讀寫rank內(nèi)8個(gè)存儲(chǔ)芯片內(nèi)的同一位置的bank。

rank讀寫

電腦有時(shí)候可以插入多個(gè)內(nèi)存條，多個(gè)內(nèi)存條有助于提升電腦的內(nèi)存容量，但是未必能提高電腦的速度。電腦的速度受“內(nèi)存通道”數(shù)限制，如果電腦有四個(gè)插槽，卻只有一個(gè)內(nèi)存通道，那么CPU仍然只能一次訪問一個(gè)rank。但如果電腦有四個(gè)插槽的同時(shí)還有四個(gè)內(nèi)存通道，那么CPU就可以一次訪問四個(gè)rank，很顯然，四并行訪問明顯比串行訪問快，假設(shè)每個(gè)rank可以輸出64比特，那么四通道就可以一次訪問4×64=256比特，而單通道只能訪問64比特。

3.4 DRAM訪問加速

1)burst模式

由于現(xiàn)在的處理器，CPU與DDR之間基本上都有cache，CPU在訪問內(nèi)存單個(gè)字的時(shí)候，不僅需要訪問這個(gè)字，還需要把這個(gè)字所在的緩存行全部搬進(jìn)cache中，因此內(nèi)存不僅要一次提供一個(gè)字，還要提供一個(gè)緩存行(cache line)。緩存行一般比較大，比如8個(gè)64比特，因此內(nèi)存要一次提供8×64=512比特?cái)?shù)據(jù)。但如果前面介紹的方式訪問內(nèi)存，那么一次只能提取出64比特，即提取一個(gè)字，這并不滿足緩存行的要求。為此，我們提出對(duì)內(nèi)存使用“burst模式”。

由于緩存行內(nèi)的各個(gè)字在內(nèi)存上是緊鄰的，我們就可以靈活地使用cell陣列中的行緩存(row buffer)。前面說到單元行進(jìn)入放大器的行緩存之后，并不會(huì)在讀寫一個(gè)比特后立刻寫回cell陣列，而是待在行緩存里等待下一個(gè)讀寫命令。如果下一個(gè)讀寫命令仍然發(fā)生在該單元行，那就可以行命中，直接操作row buffer。

在burst模式里，每當(dāng)我們讀取cell陣列中的一個(gè)比特，不僅把這個(gè)比特送到輸出緩存中，而且緊接著把這個(gè)比特所在緩存行的各個(gè)比特都送到輸出緩存，這樣就完成了一次burst，即把目標(biāo)比特周圍的多個(gè)比特連續(xù)地讀出。

2)bank并行和內(nèi)存交錯(cuò)

前面我們比較詳細(xì)地聊了在一個(gè)cell陣列中讀取數(shù)據(jù)的過程，而CPU在訪問內(nèi)存時(shí)，還需要一些別的操作?？偟膩碚f，CPU訪存大概要經(jīng)過5個(gè)步驟：

1， CPU發(fā)送指令給內(nèi)存控制器。

2， 內(nèi)存控制器解析指令，并把“解析到的控制信息”發(fā)送到控制總線。

3， bank接收控制信息，并讀取數(shù)據(jù)。

4， 內(nèi)存芯片把讀取出的數(shù)據(jù)放到數(shù)據(jù)總線。

5， 內(nèi)存控制器收取數(shù)據(jù)，并將其交給CPU。

如果CPU連續(xù)訪問同一bank，那么CPU、內(nèi)存控制器、總線和bank就必須串行操作，串行操作會(huì)讓訪存效率下降。我們假設(shè)CPU不可以在一個(gè)bank工作時(shí)，再給它發(fā)送新的指令。如果CPU連續(xù)不斷地給一個(gè)bank發(fā)送指令，那么很可能前一個(gè)指令還沒完成，后一個(gè)指令就改變了bank內(nèi)的row buffer、列地址緩存或輸出緩沖。

為了說明cpu訪存過程中帶來的時(shí)間消耗和造成的效率下降，下面以“總線延遲”為例：

光速是3×10^8m/s，而高性能CPU的頻率可達(dá)3GHz，即3×10^9Hz。那么在CPU的一個(gè)時(shí)鐘周期內(nèi)，光可以運(yùn)動(dòng)10cm。但是電在硅中的傳播距離大約是光的五分之一，經(jīng)過測(cè)量，在電子線路中 電在一個(gè)CPU時(shí)鐘周期內(nèi)只能運(yùn)動(dòng)20mm左右。而CPU和內(nèi)存芯片之間的距離遠(yuǎn)不止20mm，因此數(shù)據(jù)在總線上移動(dòng)需要花費(fèi)多個(gè)CPU時(shí)鐘周期。

上面的計(jì)算說明，在CPU訪存的5個(gè)步驟中，第2、第4步是要花很多時(shí)間的，而沒有詳細(xì)討論的第1、第5步，大概率比這兩步還要慢。因此讓CPU、內(nèi)存控制器、總線和bank串行操作是不明智的。實(shí)際上，我們完全可以在一個(gè)bank進(jìn)行第3步時(shí)，讓CPU、內(nèi)存控制器、總線去操作新的bank，以此隱藏起它們的工作時(shí)間，從而營(yíng)造起一種CPU、內(nèi)存控制器和總線不需要消耗時(shí)間的假象。上面這種做法實(shí)現(xiàn)了“bank間并行”。

所謂在“bank間并行”就是讓一個(gè)chip內(nèi)的不同bank并行工作，讓它們各干各的。為此CPU要連續(xù)、依次向不同的bank發(fā)送讀取指令，這樣在同一時(shí)間很多bank都在工作，第一個(gè)bank可能在輸出，第二個(gè)bank可能在放大電壓，第三個(gè)bank可能在開啟單元行。當(dāng)?shù)谝粋€(gè)bank burst輸出完畢，第二個(gè)bank剛好可以輸出。當(dāng)?shù)诙€(gè)bank burst輸出完畢，第三個(gè)bank剛好可以輸出.......通過這樣讓“bank讀取”和“CPU、內(nèi)存控制器、總線工作”在時(shí)間上相互重疊的方式，我們可以成功地把CPU、內(nèi)存控制器和總線的工作時(shí)間隱藏起來，從而打造出一種CPU無延遲訪問內(nèi)存、多個(gè)bank連續(xù)、依次“泵”出數(shù)據(jù)的理想情況。這種通過“bank間并行”實(shí)現(xiàn)“連續(xù)泵出數(shù)據(jù)”的方法，就是所謂的“內(nèi)存交錯(cuò)”。

內(nèi)存交錯(cuò)不僅隱藏了CPU、內(nèi)存控制器和總線的工作時(shí)間，還隱藏了對(duì)單個(gè)bank而言row缺失所造成的多余訪問時(shí)間(所謂“多余”是相對(duì)“row 命中”情況而言的)，連續(xù)兩次對(duì)同一個(gè)bank的訪問，它們?cè)L問的row相同或者不同，對(duì)延遲的影響是相當(dāng)顯著的。

如果第二個(gè)命令是對(duì)同一個(gè)row訪問，那么memory controller只需要發(fā)出Rd/Wr讀寫命令即可，稱為行命中。如果第二個(gè)命令是對(duì)不同的row進(jìn)行訪問，那么memory controller需要發(fā)出PRE，ACT，Rd/Wr命令序列，稱為行缺失。從命令序列的對(duì)比來看，可以看出行缺失的情形對(duì)性能的影響是糟糕的。下圖顯示了連續(xù)的行缺失的情形下的訪存序列：

行缺失的訪問序列

然而，如果我們有多個(gè)bank，然后將 A0,A1,A2...的訪存序列，通過memory controller的address interleaving, 映射到多個(gè)bank上，也就是所謂banking。避免了連續(xù)訪問同一個(gè)bank的不同row，造成的大量行缺失，就能夠得到下面的訪存序列：

流水線化的訪問序列

顯然，上圖中的類似流水化的訪問能夠很大程度上掩蓋訪問DRAM的訪存延遲，這也就是banking能夠提高memory throughput的原因。

另外，memory controller的address interleaving是什么呢?

我們都知道在OS層面，有著從virtual address到physical address的地址映射。類似地，在memory controller層面，我們需要將physical address映射為對(duì)DRAM chip中具體的位置的訪問，通過將bank映射到物理地址的相對(duì)低位(相對(duì)于row)，可以使得對(duì)連續(xù)地址的訪存請(qǐng)求被映射到不同的bank。

物理地址的bank映射

審核編輯：湯梓紅