共享內(nèi)存是指 (shared memory)在多處理器的計(jì)算機(jī)系統(tǒng)中，可以被不同中央處理器（CPU）訪問(wèn)的大容量?jī)?nèi)存。由于多個(gè)CPU需要快速訪問(wèn)存儲(chǔ)器，這樣就要對(duì)存儲(chǔ)器進(jìn)行緩存（Cache）。

在Linux中，每個(gè)進(jìn)程都有屬于自己的進(jìn)程控制塊（PCB）和地址空間（Addr Space），并且都有一個(gè)與之對(duì)應(yīng)的頁(yè)表，負(fù)責(zé)將進(jìn)程的虛擬地址與物理地址進(jìn)行映射，通過(guò)內(nèi)存管理單元（MMU）進(jìn)行管理。兩個(gè)不同的虛擬地址通過(guò)頁(yè)表映射到物理空間的同一區(qū)域，它們所指向的這塊區(qū)域即共享內(nèi)存。

進(jìn)程通信是指進(jìn)程之間的信息交換。PV操作是低級(jí)通信方式（P操作和V操作，P表示申請(qǐng)，V表示釋放）。高級(jí)通信方式是指以較高的效率傳輸大量數(shù)據(jù)的通信方式。高級(jí)通信方法主要有以下三類(lèi)：

共享存儲(chǔ)

在通信的進(jìn)程之間存在一塊可直接訪問(wèn)的共享空間，通過(guò)對(duì)這片共享空間進(jìn)行寫(xiě)/讀操作實(shí)現(xiàn)進(jìn)程之間的信息交換。

在對(duì)共享空間進(jìn)行寫(xiě)/讀操作時(shí)，需要使用同步互斥工具（如P操作，V操作），對(duì)共享空間的寫(xiě)/讀進(jìn)行控制。

消息傳遞系統(tǒng)

在消息傳遞系統(tǒng)中，進(jìn)程間的數(shù)據(jù)交換是以消息（Message）為單位的。程序員直接利用系統(tǒng)提供的一組通信命令（原語(yǔ)）來(lái)實(shí)現(xiàn)通信。

操作系統(tǒng)隱藏了通信的實(shí)現(xiàn)細(xì)節(jié)，大大簡(jiǎn)化了通信程序編制的復(fù)雜性，因而獲得了廣泛的應(yīng)用。在消息傳遞系統(tǒng)中，源進(jìn)程可以直接或間接地將消息傳送給目標(biāo)進(jìn)程。

管道通信系統(tǒng)

管道通信是消息傳遞的一種特殊方式。所謂“管道”，是指用于連接一個(gè)讀進(jìn)程和一個(gè)寫(xiě)進(jìn)程以實(shí)現(xiàn)它們之間通信的一個(gè)共享文件，又名pipe文件。它是讀寫(xiě)進(jìn)程的一個(gè)特殊文件（外存，數(shù)據(jù)量大），允許按照先來(lái)先服務(wù)的方式傳送數(shù)據(jù)，也能使進(jìn)程同步執(zhí)行。

以下，ENJOY

用戶(hù)基于Cyber RT進(jìn)行開(kāi)發(fā)時(shí)，會(huì)將自己的模塊抽象為一系列的Component。這些Component既可以加載到同一個(gè)進(jìn)程內(nèi)運(yùn)行，也可以加載到不同進(jìn)程中運(yùn)行。

目前，同主機(jī)不同進(jìn)程的Component間默認(rèn)通過(guò)共享內(nèi)存進(jìn)行通信。相比于其他進(jìn)程間通信方式，共享內(nèi)存具備以下幾個(gè)優(yōu)點(diǎn)：

由多個(gè)進(jìn)程共享，適合多進(jìn)程讀／寫(xiě)；

通信過(guò)程中無(wú)系統(tǒng)調(diào)用，減少了運(yùn)行態(tài)切換的開(kāi)銷(xiāo)；

沒(méi)有用戶(hù)內(nèi)存和內(nèi)核內(nèi)存之間的數(shù)據(jù)拷貝；

UNIX系統(tǒng)上有著各式各樣的IPC工具。根據(jù)工具的功能特點(diǎn)，可以將它們分為三類(lèi)：

UNIX系統(tǒng)上IPC的結(jié)構(gòu)圖

communication: 這類(lèi)工具關(guān)注的是進(jìn)程之間的數(shù)據(jù)傳輸；

signal: 信號(hào)既可以用于同步，還可以用于通信（傳遞signal number）。實(shí)時(shí)信號(hào)上還可以綁定數(shù)據(jù)。

synchronization: 這類(lèi)工具關(guān)注的是進(jìn)程之間操作的同步；

當(dāng)然，不同工具的適用場(chǎng)景有所不同。比如pipe只能用于同一臺(tái)機(jī)器上的進(jìn)程間通信，而socket卻可以用于網(wǎng)絡(luò)通信。

對(duì)于communication工具而言，我們可以將其分為兩類(lèi)：

data transfer: 這類(lèi)工具一般需要在用戶(hù)空間和內(nèi)核空間之間進(jìn)行兩次數(shù)據(jù)傳輸。以pipe為例，ProcessA在寫(xiě)入數(shù)據(jù)的時(shí)候，需要將數(shù)據(jù)從用戶(hù)空間拷貝至內(nèi)核空間；ProcessB在讀取數(shù)據(jù)時(shí)，需要將數(shù)據(jù)從內(nèi)核空間拷貝至用戶(hù)空間。

Process的數(shù)據(jù)傳輸

shared memory: 共享內(nèi)存允許進(jìn)程通過(guò)將數(shù)據(jù)放到進(jìn)程間共享的一塊內(nèi)存中來(lái)完成信息交換。在通信過(guò)程中，一方面不需要系統(tǒng)調(diào)用，另一方面也沒(méi)有用戶(hù)空間和內(nèi)核空間之間的數(shù)據(jù)傳輸。因此共享內(nèi)存通信速度比其他data transfer工具要快。

自動(dòng)駕駛系統(tǒng)中，一些傳感器的消息較大，例如點(diǎn)云，圖像等。另外，錄制全量數(shù)據(jù)時(shí)，消息總的頻率高（2000Hz~3000Hz），傳輸量大(約7GBytes/s)。因此，Cyber RT采取共享內(nèi)存來(lái)進(jìn)行進(jìn)程間通信。

Cyber RT進(jìn)程間通信主要有以下三個(gè)步驟：

消息寫(xiě)入：發(fā)送方將消息寫(xiě)入共享內(nèi)存區(qū)域；

同步：發(fā)送方通知接收方有新消息可讀；

消息讀?。航邮辗綇墓蚕韮?nèi)存區(qū)域讀取消息；

下面介紹Cyber RT共享內(nèi)存區(qū)域和通知機(jī)制的設(shè)計(jì)。

Cyber RT中所有消息都有對(duì)應(yīng)的channel來(lái)標(biāo)識(shí)，比如感知模塊輸出的障礙物消息的channel為"/apollo/perception/obstacles"。一個(gè)channel可能有多個(gè)writer和多個(gè)reader。為了減少內(nèi)存拷貝，每個(gè)channel只有唯一的一塊共享內(nèi)存區(qū)域(Segment)。該channel的所有writer和reader都通過(guò)這塊區(qū)域進(jìn)行消息傳輸。

Segment在內(nèi)存中的布局如下：

內(nèi)存中Segment的布局

state: 描述了當(dāng)前Segment的狀態(tài)，包含已經(jīng)寫(xiě)入的消息數(shù)量等信息；

block: 用于標(biāo)記block buffer的讀寫(xiě)狀態(tài)。block的數(shù)量是由該Segment傳輸消息的大小決定的。比如消息小于16KBytes時(shí)，block數(shù)量為512。

block buffer: 用于存放序列化后的消息，數(shù)量與block一致。

Segment對(duì)外的主要接口如下：

1//structWritableBlock{ 2//uint32_tindex=0; 3//Block*block=nullptr; 4//uint8_t*buf=nullptr; 5//}; 6//usingReadableBlock=WritableBlock; 7 8classSegment{ 9public:10...11boolAcquireBlockToWrite(std::size_tmsg_size,WritableBlock*writable_block);12voidReleaseWrittenBlock(constWritableBlock&writable_block);1314boolAcquireBlockToRead(ReadableBlock*readable_block);15voidReleaseReadBlock(constReadableBlock&readable_block);16...17};

Acquire與Release應(yīng)當(dāng)成對(duì)出現(xiàn)。

發(fā)送方將消息寫(xiě)入到共享內(nèi)存區(qū)域后，需要通知接收方有新消息可讀。為了減少線程使用，Cyber RT采取了單線程監(jiān)聽(tīng)。有一個(gè)專(zhuān)門(mén)的Dispatcher來(lái)執(zhí)行監(jiān)聽(tīng)操作，同一進(jìn)程內(nèi)的所有接收者都委托這個(gè)Dispatcher來(lái)進(jìn)行監(jiān)聽(tīng)。

在具體實(shí)現(xiàn)上，經(jīng)典的做法是采用mutex+condition_variable。當(dāng)沒(méi)有新消息可讀時(shí)，Dispatcher在condition_variable上執(zhí)行wait操作。發(fā)送方寫(xiě)入消息后，執(zhí)行notify操作。然而，實(shí)際測(cè)試發(fā)現(xiàn)notify有一定的抖動(dòng)。因此，最終還是采取了輪詢(xún)的方式實(shí)現(xiàn)。

另外，Cyber RT還實(shí)現(xiàn)基于UDP組播的通知機(jī)制。目前，默認(rèn)采取UDP組播來(lái)通知。

開(kāi)發(fā)者可以通過(guò)修改cyber/conf/cyber.pb.conf中transport_conf的notifier_type來(lái)更改通知機(jī)制。

1transport_conf{ 2shm_conf{ 3#"multicast""condition" 4notifier_type:"multicast" 5shm_locator{ 6ip:"239.255.0.100" 7port:8888 8} 9}10participant_attr{11lease_duration:1212announcement_period:313domain_id_gain:20014port_base:1000015}16communication_mode{17same_proc:INTRA18diff_proc:SHM19diff_host:RTPS20}21resource_limit{22max_history_depth:100023}24}

消息從ShmTransmitter發(fā)出，到ShmReceiver收到的完整過(guò)程如下圖所示：

SHM Transport通信過(guò)程

ShmTransmitter：消息發(fā)送方。

ShmReceiver：消息接收方。

Segment：共享內(nèi)存區(qū)域的抽象，內(nèi)部包含一個(gè)循環(huán)隊(duì)列(一系列blocks)，每個(gè)block均可進(jìn)行讀寫(xiě)操作。

Notifier：用于發(fā)送/監(jiān)聽(tīng)共享內(nèi)存可讀通知。

ShmDispatcher：代替ShmReceiver進(jìn)行共享內(nèi)存監(jiān)聽(tīng)和數(shù)據(jù)讀取。

Cyber RT與Apollo ROS的進(jìn)程間通信都是使用的共享內(nèi)存。相比于Apollo ROS，Cyber RT主要做了以下兩個(gè)方面的改進(jìn)。

之前消息傳輸過(guò)程中有4次數(shù)據(jù)拷貝：

serialize message to a string;

copy data of string to shared memory area;

copy data of shared memory area to a string;

deserialize message from string;

改進(jìn)后，去除了中間變量string的使用，只保留必要的2次數(shù)據(jù)拷貝。

Cyber RT實(shí)現(xiàn)了一系列高性能的基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)，如ReadWriteLock， AtomicHashMap等。

在通信相關(guān)的代碼實(shí)現(xiàn)中，大量使用了上述基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)，從而進(jìn)一步提升了性能。

對(duì)比發(fā)現(xiàn)，Cyber RT進(jìn)程間傳輸性能優(yōu)于Apollo ROS。

Cyber RT與Apollo ROS傳輸性能比較

本文首先介紹了常見(jiàn)的IPC工具，然后結(jié)合自動(dòng)駕駛的實(shí)際場(chǎng)景，解釋了使用共享內(nèi)存進(jìn)行進(jìn)程間通信的原因。之后，圍繞通信的過(guò)程，介紹了共享內(nèi)存區(qū)域和通知機(jī)制的設(shè)計(jì)。最后，對(duì)比了Cyber RT和Apollo ROS的進(jìn)程間傳輸性能。