在開始之前我們先要說一個東西就是 DMA，直接讓設(shè)備訪問內(nèi)存，可以不通過 CPU 搬運(yùn)數(shù)據(jù)。

這是一個比較簡單的體系結(jié)構(gòu)圖，設(shè)備 和 CPU 通過存儲控制器訪問存儲器。一個簡單的 case 是 CPU 向存儲器寫數(shù)據(jù)，然后設(shè)備從存儲器讀數(shù)據(jù)。這么快來一切都很正常。但是實際上 CPU 是有一層緩存的，例如下面這樣的。

CPU 想內(nèi)存寫數(shù)據(jù)，但是先要清空到不一致的緩存，然后設(shè)備再去讀數(shù)據(jù)，不然設(shè)備讀到的數(shù)據(jù)和 CPU 實際的數(shù)據(jù)會不一致（因為緩存里的數(shù)據(jù)可能和存儲器的不一致），而且實際上緩存也不只是一層，所以需要一個中間層來保證 從 CPU 的角度和從設(shè)備的角度內(nèi)存都是一致的，所以就有了下面這個結(jié)構(gòu)。

CPU 和 設(shè)備都會走緩存驗證一遍以后，再落到存儲器上，這樣帶上緩存以后大家的一致性都是一樣的了。所以從設(shè)備的角度，設(shè)備也擁有了緩存，實際上這個和 IOMMU 關(guān)系不是很大，接下來設(shè)備其實也可以和 CPU 一樣有一層 MMU，也就是地址到存儲器物理地址的轉(zhuǎn)換。注意，這里我用了地址，因為對 CPU 來說是虛擬地址，但是對設(shè)備來說是一個總線域的地址。這里要明確區(qū)分一下，一個是總線地址，是從設(shè)備的角度來看的，一個是 CPU 的虛擬地址，這是從 CPU 角度來看的，兩個是不同的東西。將總線域地址轉(zhuǎn)換成存儲器物理地址的設(shè)備就叫 IOMMU。

如果沒有 IOMMU，DMA 也能照常工作，IOMMU 的主要作用就是保護(hù)功能，防止使用 DMA 的設(shè)備訪問任意存儲器的物理地址。

IOMMU 在不同架構(gòu)上名字不太一樣，AMD 叫 AMD-Vi，最開始針對的設(shè)備只是顯卡，Intel 叫 VT-d，arm 叫 SMMU，具體對應(yīng)的手冊也不太一樣，但是主要解決的問題是一致的。在 VTd 中，dmar (DMA remapping) 就是那個 IOMMU 設(shè)備，通過中斷的方式實現(xiàn)類似 page fault 一樣的內(nèi)存分配行為。DMA 傳輸是由 CPU 發(fā)起的：CPU 會告訴 DMA 控制器，幫忙將 xxx 地方的數(shù)據(jù)搬到 xxx 地方。CPU 發(fā)完指令之后，就當(dāng)甩手掌柜了。IOMMU 有點像 MMU 是一個將設(shè)備地址翻譯到內(nèi)存地址的頁表體系，也會有對應(yīng)的頁表，這個東西在虛擬化中也非常有用，可以將原本有軟件模擬的設(shè)備，用直接的硬件替代，而原本的隔離通過 IOMMU 來完成。如下圖所示，原本需要通過軟件模擬的驅(qū)動設(shè)備可以通過 IOMMU 以安全的方式來直接把硬件設(shè)備分配個用戶態(tài)的 Guest OS。

理論上講沒有 IOMMU 實際上是可以工作的，但是硬件的角度，設(shè)備就擁有了整個存儲器的全局視圖，這是無論如何都非常不合理的事情，不應(yīng)該讓設(shè)備擁有訪問任意物理內(nèi)存的能力。

這里要提的另外一個功能就是對中斷的隔離，類似于下面的通過在中斷請求中添加標(biāo)識來重定向中斷到對應(yīng)的中斷回調(diào)上。

VFIO 的作用就是通過 IOMMU 以安全的方式來將設(shè)備的訪問直接暴露到用戶空間，而不用專門完成某個驅(qū)動等待合并到上游或者使用之前的對 IOMMU 沒有感知的 UIO 的框架。通過 VFIO 向用戶態(tài)開放 IOMMU 的功能，編寫用戶態(tài)的驅(qū)動。

對于 IOMMU 來說，隔離的級別不一定是單個設(shè)備，比如一個后面有幾個設(shè)備的 PCI 橋，從 PCI 橋角度來說，都是來自 PCI 橋的總線事務(wù)。所以 IOMMU 有一個iommu_group的概念，代表一組與其他設(shè)備隔離的設(shè)備的集合。

IOMMU 根據(jù)手冊上講還有一個域的概念，可以簡單理解為一段物理地址的抽象。

在iommu_group的層級上，VFIO 封裝了一層container class，這個的作用對應(yīng)于希望能夠在不同的iommu_group之間共享TLB和page tables，這個就是一個集合的概念，跟容器的那個概念沒啥關(guān)系，一個集合總歸要有個名字。通過把 host 的 device 和 driver 解綁，然后綁定到 VFIO 的 driver 上，就會有個/dev/vfio/$GROUP/出現(xiàn)，然后這個$GROUP代表的就是這個 device 的iommu_group號，如果要使用 VFIO 就要把這個 group 下的所有 device 都解綁才可以。

通過打開/dev/vfio/vfio就能創(chuàng)建一個 VFIO 的 container，然后再打開/dev/vfio/$GROUP用VFIO_GROUP_SET_CONTAINERioctl 把文件描述傳進(jìn)去，就把 group 加進(jìn)去了，如果支持多個 group 共享頁表等結(jié)構(gòu)，還可以把相應(yīng)的 group 也加進(jìn)去。（再強(qiáng)調(diào)一遍這個頁表是總線地址到存儲器物理地址，IOMMU 管理的那個頁表）。

下面舉個官方的栗子，獲取 PCI 設(shè)備 00000d.0 的group_id（PCI 命名的規(guī)則是domainslot.func）

$ readlink /sys/bus/pci/devices/00000d.0/iommu_group../../../../kernel/iommu_groups/26

使用之前需要你已經(jīng)加載了 VFIO 模塊

modprobevfio-pci

解綁 PCI 設(shè)備，然后創(chuàng)建一個 container id

$ lspci -n -s 00000d.006:0d.0 0401: 1102:0002 (rev 08)# echo 00000d.0 > /sys/bus/pci/devices/00000d.0/driver/unbind# echo 1102 0002 > /sys/bus/pci/drivers/vfio-pci/new_id

然后尋找其他同屬于一個 group 的設(shè)備

$ ls -l /sys/bus/pci/devices/0000:06:0d.0/iommu_group/devicestotal 0lrwxrwxrwx. 1 root root 0 Apr 23 16:13 0000:00:1e.0 -> ../../../../devices/pci0000:00/0000:00:1e.0lrwxrwxrwx. 1 root root 0 Apr 23 16:13 0000:06:0d.0 -> ../../../../devices/pci0000:00/0000:00:1e.0/0000:06:0d.0lrwxrwxrwx. 1 root root 0 Apr 23 16:13 0000:06:0d.1 ->../../../../devices/pci0000:00/0000:00:1e.0/0000:06:0d.1PCI 橋00001e.0后面掛了兩個設(shè)備，一個是剛才加進(jìn)去的00000d.0，還有一個是00000d.1，通過上面的步奏加進(jìn)去就可以。

最后一步是讓用戶有權(quán)限使用這個 group。

#chownuser:user/dev/vfio/26

下面就是一個樣例，從用戶態(tài)使用 VFIO，整個的使用方式是通過ioctl來獲取中斷相關(guān)信息，以及注冊中斷處理函數(shù)，然后也是通過ioctl來獲取region信息，然后調(diào)用相應(yīng)的mmap函數(shù)，讓 CPU 可以訪問內(nèi)存。

int container, group, device, i;struct vfio_group_status group_status ={ .argsz = sizeof(group_status) };struct vfio_iommu_type1_info iommu_info = { .argsz = sizeof(iommu_info) };struct vfio_iommu_type1_dma_map dma_map = { .argsz = sizeof(dma_map) };struct vfio_device_info device_info = { .argsz = sizeof(device_info) }; /* Create a new container */container = open("/dev/vfio/vfio", O_RDWR); if (ioctl(container, VFIO_GET_API_VERSION) != VFIO_API_VERSION) /* Unknown API version */ if (!ioctl(container, VFIO_CHECK_EXTENSION, VFIO_TYPE1_IOMMU)) /* Doesn't support the IOMMU driver we want. */ /* Open the group */group = open("/dev/vfio/26", O_RDWR); /* Test the group is viable and available */ioctl(group, VFIO_GROUP_GET_STATUS, &group_status); if (!(group_status.flags & VFIO_GROUP_FLAGS_VIABLE)) /* Group is not viable (ie, not all devices bound for vfio) */ /* Add the group to the container */ioctl(group, VFIO_GROUP_SET_CONTAINER, &container); /* Enable the IOMMU model we want */ioctl(container, VFIO_SET_IOMMU, VFIO_TYPE1_IOMMU); /* Get addition IOMMU info */ioctl(container, VFIO_IOMMU_GET_INFO, &iommu_info); /* Allocate some space and setup a DMA mapping */dma_map.vaddr = mmap(0, 1024 * 1024, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, 0, 0);dma_map.size = 1024 * 1024;dma_map.iova = 0; /* 1MB starting at 0x0 from device view */dma_map.flags = VFIO_DMA_MAP_FLAG_READ | VFIO_DMA_MAP_FLAG_WRITE; ioctl(container, VFIO_IOMMU_MAP_DMA, &dma_map); /* Get a file descriptor for the device */device = ioctl(group, VFIO_GROUP_GET_DEVICE_FD, "00000d.0"); /* Test and setup the device */ioctl(device, VFIO_DEVICE_GET_INFO, &device_info); for (i = 0; i < device_info.num_regions; i++) { struct vfio_region_info reg = { .argsz = sizeof(reg) }; reg.index = i; ioctl(device, VFIO_DEVICE_GET_REGION_INFO, ®); /* Setup mappings... read/write offsets, mmaps * For PCI devices, config space is a region */} for (i = 0; i < device_info.num_irqs; i++) { struct vfio_irq_info irq = { .argsz = sizeof(irq) }; irq.index = i; ioctl(device, VFIO_DEVICE_GET_IRQ_INFO, &irq); /* Setup IRQs... eventfds, VFIO_DEVICE_SET_IRQS */} /* Gratuitous device reset and go... */ioctl(device, VFIO_DEVICE_RESET);

在include/linux/vfio.h里面有完整的 API，這里就簡單略過。

在理解了一些基本原理和使用方式之后再來看 VFIO 的代碼應(yīng)該叫就比較容易理解了。

首先是作為 PCI 設(shè)備的probe。主要是通過vfio_iommu_group_get分配iommu_group，然后調(diào)用vfio_add_group_dev初始化設(shè)備回調(diào)接口vfio_pci_ops，而remove就是反過來把對應(yīng)的結(jié)構(gòu)釋放掉就可以。然后再看注冊的回調(diào)函數(shù)結(jié)構(gòu)體。

static const struct vfio_device_ops vfio_pci_ops = { .name = "vfio-pci", .open = vfio_pci_open, .release = vfio_pci_release, .ioctl = vfio_pci_ioctl, .read = vfio_pci_read, .write = vfio_pci_write, .mmap = vfio_pci_mmap, .request = vfio_pci_request,};

這里分析幾個關(guān)鍵的函數(shù)，他們會通過file_operations vfio_fops被間接的調(diào)用。

首先是 mmap，就是在調(diào)用vfio_pci_mmap的時候最終調(diào)用remap_pfn_range(vma, vma->vm_start, vma->vm_pgoff, req_len, vma->vm_page_prot);來將物理內(nèi)存映射到用戶態(tài)空間，這就是上面的栗子中 mmap 系統(tǒng)調(diào)用的入口，而具體要映射的物理內(nèi)存是通過一系列pci_resource_xxx宏從 PCI bar 空間讀出來的配置。

然后是 ioctl 接口，這個接口比較豐富，也簡單的看一下。比如VFIO_DEVICE_SET_IRQS會通過使用用戶態(tài)傳進(jìn)來的結(jié)構(gòu)體，調(diào)用vfio_pci_set_irqs_ioctl注冊中斷處理函數(shù)。而通過vfio_ioctl_set_iommu會設(shè)置 container 的 iommu_group 以及對應(yīng)的 driver。read/write接口都是用于修改 PCI 配置信息的。

簡單的來說，VFIO 的主要工作是把設(shè)備通過 IOMMU 映射的 DMA 物理內(nèi)存地址映射到用戶態(tài)中，讓用戶態(tài)程序可以自行操縱設(shè)備的傳輸，并且可以保證一定程度的安全，另外可以自行注冊中斷處理函數(shù)，從而在用戶態(tài)實現(xiàn)設(shè)備的驅(qū)動程序，通過這樣的框架，可以在 DPDK 中充分發(fā)揮用戶態(tài)協(xié)議棧的威力。

原文標(biāo)題：VFIO —將 DMA 映射暴露給用戶態(tài)

文章出處：【微信公眾號：Linuxer】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq