操作系統(tǒng)級(jí)虛擬化

KVM、XEN等虛擬化技術(shù)允許各個(gè)虛擬機(jī)擁有自己獨(dú)立的操作系統(tǒng)。與KVM、XEN等虛擬化技術(shù)不同，所謂操作系統(tǒng)級(jí)虛擬化，也被稱作容器化，是操作系統(tǒng)自身的一個(gè)特性，它允許多個(gè)相互隔離的用戶空間實(shí)例的存在。這些用戶空間實(shí)例也被稱作為容器。普通的進(jìn)程可以看到計(jì)算機(jī)的所有資源而容器中的進(jìn)程只能看到分配給該容器的資源。通俗來(lái)講，操作系統(tǒng)級(jí)虛擬化將操作系統(tǒng)所管理的計(jì)算機(jī)資源，包括進(jìn)程、文件、設(shè)備、網(wǎng)絡(luò)等分組，然后交給不同的容器使用。容器中運(yùn)行的進(jìn)程只能看到分配給該容器的資源。從而達(dá)到隔離與虛擬化的目的。

實(shí)現(xiàn)操作系統(tǒng)虛擬化需要用到Namespace及cgroups技術(shù)。

命名空間(Namespace)

在編程語(yǔ)言中，引入命名空間的概念是為了重用變量名或者服務(wù)例程名。在不同的命名空間中使用同一個(gè)變量名而不會(huì)產(chǎn)生沖突。Linux系統(tǒng)引入命名空間也有類似的作用。例如，在沒(méi)有操作系統(tǒng)級(jí)虛擬化的Linux系統(tǒng)中，用戶態(tài)進(jìn)程從1開始編號(hào)(PID)。引入操作系統(tǒng)虛擬化之后，不同容器有著不同的PID命名空間，每個(gè)容器中的進(jìn)程都可以從1開始編號(hào)而不產(chǎn)生沖突。

目前，Linux中的命名空間有6種類型，分別對(duì)應(yīng)操作系統(tǒng)管理的6種資源：

掛載點(diǎn)(mount point) CLONE_NEWNS

進(jìn)程(pid) CLONE_NEWPID

網(wǎng)絡(luò)(net) CLONE_NEWNET

進(jìn)程間通信(ipc) CLONE_NEWIPC

主機(jī)名(uts) CLONE_NEWUTS

用戶(uid) CLONW_NEWUSER

將來(lái)還會(huì)引入時(shí)間、設(shè)備等對(duì)應(yīng)的namespace.

Linux 2.4.19版本引入了第一個(gè)命名空間——掛載點(diǎn)，因?yàn)槟菚r(shí)還沒(méi)有其他類型的命名空間，所以clone系統(tǒng)調(diào)用中引入的flag就叫做CLONE_NEWNS

與命名空間相關(guān)的三個(gè)系統(tǒng)調(diào)用(system calls)

下面3個(gè)系統(tǒng)調(diào)用用來(lái)操作命名空間：

clone() —— 用來(lái)創(chuàng)建新的進(jìn)程及新的命名空間，新的進(jìn)程會(huì)被放到新的命名空間中

unshare() —— 創(chuàng)建新的命名空間但并不創(chuàng)建新的子進(jìn)程，之后創(chuàng)建的子進(jìn)程會(huì)被放到新創(chuàng)建的命名空間中去

setns() —— 將進(jìn)程加入到已經(jīng)存在的命名空間中

注意：這３個(gè)系統(tǒng)調(diào)用都不會(huì)改變調(diào)用進(jìn)程(calling process)的pid命名空間，而是會(huì)影響其子進(jìn)程的pid命名空間

命名空間本身并沒(méi)用名字(囧)，不同的命名空間用不同的inode號(hào)來(lái)標(biāo)識(shí)，這也符合Linux用文件一統(tǒng)天下的慣例?？梢栽趐roc文件系統(tǒng)中查看一個(gè)進(jìn)程所屬的命名空間，例如，查看PID為4123的進(jìn)程所屬的命名空間：

kelvin@desktop:~$ls -l /proc/4123/ns/

總用量0

lrwxrwxrwx1kelvin kelvin012月2616:28cgroup -> cgroup:[4026531835]

lrwxrwxrwx1kelvin kelvin012月2616:28ipc -> ipc:[4026531839]

lrwxrwxrwx1kelvin kelvin012月2616:28mnt -> mnt:[4026531840]

lrwxrwxrwx1kelvin kelvin012月2616:28net -> net:[4026531963]

lrwxrwxrwx1kelvin kelvin012月2616:28pid -> pid:[4026531836]

lrwxrwxrwx1kelvin kelvin012月2616:28user -> user:[4026531837]

lrwxrwxrwx1kelvin kelvin012月2616:28uts -> uts:[4026531838]

下面的代碼演示了如何利用上述3個(gè)系統(tǒng)調(diào)用來(lái)操作進(jìn)程的命名空間：

#define _GNU_SOURCE

#include

#include

#include

#include

#include

#include

#include

#include

#include

#include

#include

#include

#define STACK_SIZE (10 * 1024 * 1024)

charchild_stack[STACK_SIZE];

intchild_main(void* args){

pid_t child_pid = getpid();

printf("I'm child process and my pid is %d \n",child_pid);

// 子進(jìn)程會(huì)被放到clone系統(tǒng)調(diào)用新創(chuàng)建的pid命名空間中, 所以其pid應(yīng)該為1

sleep(300);

// 命名空間中的所有進(jìn)程退出后該命名空間的inode將會(huì)被刪除, 為后續(xù)操作保留它

return0;

}

intmain(){

/* Clone */

pid_t child_pid = clone(child_main,child_stack + STACK_SIZE,\

CLONE_NEWPID | SIGCHLD,NULL);

if(child_pid < 0){

perror("clone failed");

}

/* Unshare */

intret = unshare(CLONE_NEWPID);// 父進(jìn)程調(diào)用unshare, 創(chuàng)建了一個(gè)新的命名空間,

//但不會(huì)創(chuàng)建子進(jìn)程. 之后再創(chuàng)建的子進(jìn)程將會(huì)被加入到新的命名空間中

if(ret < 0){

perror("unshare failed");

}

intfpid = fork();

if(fpid < 0){

perror("fork error");

}elseif(fpid == 0){

printf("I am child process. My pid is %d\n",getpid());

// Fork后的子進(jìn)程會(huì)被加入到unshare創(chuàng)建的命名空間中, 所以pid應(yīng)該為1

exit(0);

}else{

}

waitpid(fpid,NULL,0);

/* Setns */

charpath[80] = "";

sprintf(path,"/proc/%d/ns/pid",child_pid);

intfd = open(path,O_RDONLY);

if(fd == -1)

perror("open error");

if(setns(fd,0) == -1)

// setns并不會(huì)改變當(dāng)前進(jìn)程的命名空間, 而是會(huì)設(shè)置之后創(chuàng)建的子進(jìn)程的命名空間

perror("setns error");

close(fd);

intnpid = fork();

if(npid < 0){

perror("fork error");

}elseif(npid == 0){

printf("I am child process. My pid is %d\n",getpid());

// 新的子進(jìn)程會(huì)被加入到第一個(gè)子進(jìn)程的pid命名空間中, 所以其pid應(yīng)該為2

exit(0);

}else{

}

return0;

}

運(yùn)行結(jié)果：

$sudo./ns

I'mchildprocess andmy pid is1

Iam childprocess.My pid is1

Iam childprocess.My pid is2

控制組(Cgroups)

如果說(shuō)命名空間是從命名和編號(hào)的角度進(jìn)行隔離，而控制組則是將進(jìn)程進(jìn)行分組，并真正的將各組進(jìn)程的計(jì)算資源進(jìn)行限制、隔離?？刂平M是一種內(nèi)核機(jī)制，它可以對(duì)進(jìn)程進(jìn)行分組、跟蹤限制其使用的計(jì)算資源。對(duì)于每一類計(jì)算資源，控制組通過(guò)所謂的子系統(tǒng)(subsystem)來(lái)進(jìn)行控制，現(xiàn)階段已有的子系統(tǒng)包括：

cpusets: 用來(lái)分配一組CPU給指定的cgroup，該cgroup中的進(jìn)程只等被調(diào)度到該組CPU上去執(zhí)行

blkio : 限制cgroup的塊IO

cpuacct : 用來(lái)統(tǒng)計(jì)cgroup中的CPU使用

devices : 用來(lái)黑白名單的方式控制cgroup可以創(chuàng)建和使用的設(shè)備節(jié)點(diǎn)

freezer : 用來(lái)掛起指定的cgroup，或者喚醒掛起的cgroup

hugetlb : 用來(lái)限制cgroup中hugetlb的使用

memory : 用來(lái)跟蹤限制內(nèi)存及交換分區(qū)的使用

net_cls : 用來(lái)根據(jù)發(fā)送端的cgroup來(lái)標(biāo)記數(shù)據(jù)包，流量控制器(traffic controller)會(huì)根據(jù)這些標(biāo)記來(lái)分配優(yōu)先級(jí)

net_prio : 用來(lái)設(shè)置cgroup的網(wǎng)絡(luò)通信優(yōu)先級(jí)

cpu :用來(lái)設(shè)置cgroup中CPU的調(diào)度參數(shù)

perf_event : 用來(lái)監(jiān)控cgroup的CPU性能

與命名空間不同，控制組并沒(méi)有增加系統(tǒng)調(diào)用，而是實(shí)現(xiàn)了一個(gè)文件系統(tǒng)，通過(guò)文件及目錄操作來(lái)管理控制組。下面通過(guò)一個(gè)例子來(lái)看一看cgroup是如何利用cpuset子系統(tǒng)來(lái)把進(jìn)程綁定到指定的CPU上去執(zhí)行的。

1. 創(chuàng)建一個(gè)一直執(zhí)行的shell腳本

#!/bin/bash

x=0

while[True];do

done;

2. 在后臺(tái)執(zhí)行這個(gè)腳本

# bash run.sh &

[1]20553

3. 查看該腳本在哪個(gè)CPU上運(yùn)行

# ps -eLo ruser,lwp,psr,args | grep 20553 | grep -v grep

root 20553 3bash run.sh

可以看到PID為20553的進(jìn)程運(yùn)行在編號(hào)為3的CPU上，下面利用cgroups將其綁定到編號(hào)為2的CPU上去執(zhí)行

4. 掛載cgroups類型的文件系統(tǒng)到一個(gè)新創(chuàng)建的目錄cgroups中

# mkdir cgroups

# mount -t cgroup -o cpuset cgroups ./cgroups/

# ls cgroups/

cgroup.clone_children cpuset.memory_pressure_enabled

cgroup.procscpuset.memory_spread_page

cgroup.sane_behaviorcpuset.memory_spread_slab

cpuset.cpu_exclusivecpuset.mems

cpuset.cpus cpuset.sched_load_balance

cpuset.effective_cpus cpuset.sched_relax_domain_level

cpuset.effective_mems docker

cpuset.mem_exclusivetasks

cpuset.mem_hardwall notify_on_release

cpuset.memory_migrate release_agent

cpuset.memory_pressure

5. 創(chuàng)建一個(gè)新的組group0

# mkdir group0

# ls group0/

cgroup.clone_childrencpuset.mem_exclusive cpuset.mems

cgroup.procs cpuset.mem_hardwallcpuset.sched_load_balance

cpuset.cpu_exclusive cpuset.memory_migratecpuset.sched_relax_domain_level

cpuset.cpuscpuset.memory_pressure notify_on_release

cpuset.effective_cpuscpuset.memory_spread_pagetasks

cpuset.effective_memscpuset.memory_spread_slab

6. 將上面的進(jìn)程20553加入到新建的控制組中：

# echo 20553 >> group0/tasks

# cat group0/tasks

20553

7. 限制該組的進(jìn)程只能運(yùn)行在編號(hào)為2的CPU上

# echo 2 > group0/cpuset.cpus

# cat group0/cpuset.cpus

2

8. 查看PID為20553的進(jìn)程所運(yùn)行的CPU編號(hào)

# ps -eLo ruser,lwp,psr,args | grep 20553 | grep -v grep

root 20553 2bash run.sh

上面的例子簡(jiǎn)單的展示了如何使用控制組。控制組通過(guò)文件和目錄來(lái)操作，文件系統(tǒng)又是樹形結(jié)構(gòu)，因此如果不對(duì)cgroups的使用做一些限制的話，配置會(huì)變得異常復(fù)雜和混亂。因此，在新版的cgroups中做了一些限制。

小結(jié)

本文簡(jiǎn)要介紹了操作系統(tǒng)虛擬化的概念，以及實(shí)現(xiàn)操作系統(tǒng)虛擬化的技術(shù)——命名空間及控制組。并通過(guò)兩個(gè)簡(jiǎn)單的例子演示了命名空間及控制組的使用方法。