Linux? 的用戶空間進程的創(chuàng)建和管理所涉及的原理與 UNIX? 有很多共同點,但也有一些特定于 Linux 的獨特之處。在本文中,了解 Linux 進程的生命周期,探索用戶進程創(chuàng)建、內(nèi)存管理、調(diào)度和銷毀的內(nèi)核內(nèi)幕。
Linux 是一種動態(tài)系統(tǒng),能夠適應不斷變化的計算需求。Linux 計算需求的表現(xiàn)是以進程 的通用抽象為中心的。進程可以是短期的(從命令行執(zhí)行的一個命令),也可以是長期的(一種網(wǎng)絡服務)。因此,對進程及其調(diào)度進行一般管理就顯得極為重要。
在用戶空間,進程是由進程標識符(PID)表示的。從用戶的角度來看,一個 PID 是一個數(shù)字值,可惟一標識一個進程。一個 PID 在進程的整個生命期間不會更改,但 PID 可以在進程銷毀后被重新使用,所以對它們進行緩存并不見得總是理想的。
在用戶空間,創(chuàng)建進程可以采用幾種方式??梢詧?zhí)行一個程序(這會導致新進程的創(chuàng)建),也可以在程序內(nèi),調(diào)用一個 fork 或 exec 系統(tǒng)調(diào)用。fork 調(diào)用會導致創(chuàng)建一個子進程,而 exec 調(diào)用則會用新程序代替當前進程上下文。接下來,我將對這幾種方法進行討論以便您能很好地理解它們的工作原理。
在本文中,我將按照下面的順序展開對進程的介紹,首先展示進程的內(nèi)核表示以及它們是如何在內(nèi)核內(nèi)被管理的,然后來看看進程創(chuàng)建和調(diào)度的各種方式(在一個或多個處理器上),最后介紹進程的銷毀。
進程表示
在 Linux 內(nèi)核內(nèi),進程是由相當大的一個稱為 task_struct 的結(jié)構(gòu)表示的。此結(jié)構(gòu)包含所有表示此進程所必需的數(shù)據(jù),此外,還包含了大量的其他數(shù)據(jù)用來統(tǒng)計(accounting)和維護與其他進程的關(guān)系(父和子)。對 task_struct 的完整介紹超出了本文的范圍,清單 1 給出了 task_struct 的一小部分。這些代碼包含了本文所要探索的這些特定元素。task_struct 位于 ./linux/include/linux/sched.h。
清單 1. task_struct 的一小部分
struct task_struct {volatile long state;void *stack;unsigned int flags;int prio, static_prio;struct list_head tasks;struct mm_struct *mm, *active_mm;pid_t pid;pid_t tgid;struct task_struct *real_parent;char comm[TASK_COMM_LEN];struct thread_struct thread;struct files_struct *files;...};
在清單 1 中,可以看到幾個預料之中的項,比如執(zhí)行的狀態(tài)、堆棧、一組標志、父進程、執(zhí)行的線程(可以有很多)以及開放文件。我稍后會對其進行詳細說明,這里只簡單加以介紹。state 變量是一些表明任務狀態(tài)的比特位。最常見的狀態(tài)有:TASK_RUNNING 表示進程正在運行,或是排在運行隊列中正要運行;TASK_INTERRUPTIBLE 表示進程正在休眠、TASK_UNINTERRUPTIBLE 表示進程正在休眠但不能叫醒;TASK_STOPPED 表示進程停止等等。這些標志的完整列表可以在 ./linux/include/linux/sched.h 內(nèi)找到。
flags 定義了很多指示符,表明進程是否正在被創(chuàng)建(PF_STARTING)或退出(PF_EXITING),或是進程當前是否在分配內(nèi)存(PF_MEMALLOC)??蓤?zhí)行程序的名稱(不包含路徑)占用 comm(命令)字段。
每個進程都會被賦予優(yōu)先級(稱為 static_prio),但進程的實際優(yōu)先級是基于加載以及其他幾個因素動態(tài)決定的。優(yōu)先級值越低,實際的優(yōu)先級越高。
tasks 字段提供了鏈接列表的能力。它包含一個 prev 指針(指向前一個任務)和一個 next 指針(指向下一個任務)。
進程的地址空間由 mm 和 active_mm 字段表示。mm 代表的是進程的內(nèi)存描述符,而 active_mm 則是前一個進程的內(nèi)存描述符(為改進上下文切換時間的一種優(yōu)化)。
thread_struct 則用來標識進程的存儲狀態(tài)。此元素依賴于 Linux 在其上運行的特定架構(gòu),在 ./linux/include/asm-i386/processor.h 內(nèi)有這樣的一個例子。在此結(jié)構(gòu)內(nèi),可以找到該進程自執(zhí)行上下文切換后的存儲(硬件注冊表、程序計數(shù)器等)。
進程管理
最大進程數(shù)
在 Linux 內(nèi)雖然進程都是動態(tài)分配的,但還是需要考慮最大進程數(shù)。在內(nèi)核內(nèi)最大進程數(shù)是由一個稱為 max_threads 的符號表示的,它可以在 ./linux/kernel/fork.c 內(nèi)找到??梢酝ㄟ^ /proc/sys/kernel/threads-max 的 proc 文件系統(tǒng)從用戶空間更改此值。
現(xiàn)在,讓我們來看看如何在 Linux 內(nèi)管理進程。在很多情況下,進程都是動態(tài)創(chuàng)建并由一個動態(tài)分配的 task_struct 表示。一個例外是 init 進程本身,它總是存在并由一個靜態(tài)分配的 task_struct 表示。在 ./linux/arch/i386/kernel/init_task.c 內(nèi)可以找到這樣的一個例子。
Linux 內(nèi)所有進程的分配有兩種方式。第一種方式是通過一個哈希表,由 PID 值進行哈希計算得到;第二種方式是通過雙鏈循環(huán)表。循環(huán)表非常適合于對任務列表進行迭代。由于列表是循環(huán)的,沒有頭或尾;但是由于 init_task 總是存在,所以可以將其用作繼續(xù)向前迭代的一個錨點。讓我們來看一個遍歷當前任務集的例子。
任務列表無法從用戶空間訪問,但該問題很容易解決,方法是以模塊形式向內(nèi)核內(nèi)插入代碼。清單 2 中所示的是一個很簡單的程序,它會迭代任務列表并會提供有關(guān)每個任務的少量信息(name、pid 和 parent 名)。注意,在這里,此模塊使用 printk 來發(fā)出結(jié)果。要查看具體的結(jié)果,可以通過 cat 實用工具(或?qū)崟r的 tail -f /var/log/messages)查看 /var/log/messages 文件。next_task 函數(shù)是 sched.h 內(nèi)的一個宏,它簡化了任務列表的迭代(返回下一個任務的 task_struct 引用)。
清單 2. 發(fā)出任務信息的簡單內(nèi)核模塊(procsview.c)
#include #include #include int init_module( void ){ /* Set up the anchor point */ struct task_struct *task = &init_task; /* Walk through the task list, until we hit the init_task again */ do { printk( KERN_INFO "*** %s [%d] parent %s\n",task->comm, task->pid, task->parent->comm ); } while ( (task = next_task(task)) != &init_task ); return 0;}void cleanup_module( void ){ return;}
可以用清單 3 所示的 Makefile 編譯此模塊。在編譯時,可以用 insmod procsview.ko 插入模塊對象,也可以用 rmmod procsview 刪除它。
清單 3. 用來構(gòu)建內(nèi)核模塊的 Makefile
obj-m += procsview.oKDIR := /lib/modules/$(shell uname -r)/buildPWD := $(shell pwd)default:$(MAKE) -C $(KDIR) SUBDIRS=$(PWD) modules
插入后,/var/log/messages 可顯示輸出,如下所示。從中可以看到,這里有一個空閑任務(稱為 swapper)和 init 任務(pid 1)。
Nov 12 22:19:51 mtj-desktop kernel: [8503.873310] *** swapper [0] parent swapperNov 12 22:19:51 mtj-desktop kernel: [8503.904182] *** init [1] parent swapperNov 12 22:19:51 mtj-desktop kernel: [8503.904215] *** kthreadd [2] parent swapperNov 12 22:19:51 mtj-desktop kernel: [8503.904233] *** migration/0 [3] parent kthreadd...
注意,還可以標識當前正在運行的任務。Linux 維護一個稱為 current 的符號,代表的是當前運行的進程(類型是 task_struct)。如果在 init_module 的尾部插入如下這行代碼:
printk( KERN_INFO, "Current task is %s [%d], current->comm, current->pid );
會看到:
Nov 12 22:48:45 mtj-desktop kernel: [10233.323662] Current task is insmod [6538]
注意到,當前的任務是 insmod,這是因為 init_module 函數(shù)是在 insmod 命令執(zhí)行的上下文運行的。current 符號實際指的是一個函數(shù)(get_current)并可在一個與 arch 有關(guān)的頭部中找到(比如 ./linux/include/asm-i386/current.h 內(nèi)找到)。
進程創(chuàng)建
系統(tǒng)調(diào)用函數(shù)
您可能已經(jīng)看到過系統(tǒng)調(diào)用的模式了。在很多情況下,系統(tǒng)調(diào)用都被命名為 sys_* 并提供某些初始功能以實現(xiàn)調(diào)用(例如錯誤檢查或用戶空間的行為)。實際的工作常常會委派給另外一個名為 do_* 的函數(shù)。
讓我們不妨親自看看如何從用戶空間創(chuàng)建一個進程。用戶空間任務和內(nèi)核任務的底層機制是一致的,因為二者最終都會依賴于一個名為 do_fork 的函數(shù)來創(chuàng)建新進程。在創(chuàng)建內(nèi)核線程時,內(nèi)核會調(diào)用一個名為 kernel_thread 的函數(shù)(參見 ./linux/arch/i386/kernel/process.c),此函數(shù)執(zhí)行某些初始化后會調(diào)用 do_fork。
創(chuàng)建用戶空間進程的情況與此類似。在用戶空間,一個程序會調(diào)用 fork,這會導致對名為 sys_fork 的內(nèi)核函數(shù)的系統(tǒng)調(diào)用(參見 ./linux/arch/i386/kernel/process.c)。函數(shù)關(guān)系如圖 1 所示。
圖 1. 負責創(chuàng)建進程的函數(shù)的層次結(jié)構(gòu)
?
從圖 1 中,可以看到 do_fork 是進程創(chuàng)建的基礎??梢栽?./linux/kernel/fork.c 內(nèi)找到 do_fork 函數(shù)(以及合作函數(shù) copy_process)。
do_fork 函數(shù)首先調(diào)用 alloc_pidmap,該調(diào)用會分配一個新的 PID。接下來,do_fork 檢查調(diào)試器是否在跟蹤父進程。如果是,在 clone_flags 內(nèi)設置 CLONE_PTRACE 標志以做好執(zhí)行 fork 操作的準備。之后 do_fork 函數(shù)還會調(diào)用 copy_process,向其傳遞這些標志、堆棧、注冊表、父進程以及最新分配的 PID。
新的進程在 copy_process 函數(shù)內(nèi)作為父進程的一個副本創(chuàng)建。此函數(shù)能執(zhí)行除啟動進程之外的所有操作,啟動進程在之后進行處理。copy_process 內(nèi)的第一步是驗證 CLONE 標志以確保這些標志是一致的。如果不一致,就會返回 EINVAL 錯誤。接下來,詢問 Linux Security Module (LSM) 看當前任務是否可以創(chuàng)建一個新任務。
接下來,調(diào)用 dup_task_struct 函數(shù)(在 ./linux/kernel/fork.c 內(nèi)),這會分配一個新 task_struct 并將當前進程的描述符復制到其內(nèi)。在新的線程堆棧設置好后,一些狀態(tài)信息也會被初始化,并且會將控制返回給 copy_process??刂苹氐?copy_process 后,除了其他幾個限制和安全檢查之外,還會執(zhí)行一些常規(guī)管理,包括在新 task_struct 上的各種初始化。之后,會調(diào)用一系列復制函數(shù)來復制此進程的各個方面,比如復制開放文件描述符(copy_files)、復制符號信息(copy_sighand 和 copy_signal)、復制進程內(nèi)存(copy_mm)以及最終復制線程(copy_thread)。
之后,這個新任務會被指定給一個處理程序,同時對允許執(zhí)行進程的處理程序進行額外的檢查(cpus_allowed)。新進程的優(yōu)先級從父進程的優(yōu)先級繼承后,執(zhí)行一小部分額外的常規(guī)管理,而且控制也會被返回給 do_fork。在此時,新進程存在但尚未運行。do_fork 函數(shù)通過調(diào)用 wake_up_new_task 來修復此問題。此函數(shù)(可在 ./linux/kernel/sched.c 內(nèi)找到)初始化某些調(diào)度程序的常規(guī)管理信息,將新進程放置在運行隊列之內(nèi),然后將其喚醒以便執(zhí)行。最后,一旦返回至 do_fork,此 PID 值即被返回給調(diào)用程序,進程完成。
進程調(diào)度
存在于 Linux 的進程也可通過 Linux 調(diào)度程序被調(diào)度。雖然調(diào)度程序超出了本文的討論范圍,但 Linux 調(diào)度程序維護了針對每個優(yōu)先級別的一組列表,其中保存了 task_struct 引用。任務通過 schedule 函數(shù)(在 ./linux/kernel/sched.c 內(nèi))調(diào)用,它根據(jù)加載及進程執(zhí)行歷史決定最佳進程。
進程銷毀
進程銷毀可以通過幾個事件驅(qū)動 — 通過正常的進程結(jié)束、通過信號或是通過對 exit 函數(shù)的調(diào)用。不管進程如何退出,進程的結(jié)束都要借助對內(nèi)核函數(shù) do_exit(在 ./linux/kernel/exit.c 內(nèi))的調(diào)用。此過程如圖 2 所示。
圖 2. 實現(xiàn)進程銷毀的函數(shù)的層次結(jié)構(gòu)
?
do_exit 的目的是將所有對當前進程的引用從操作系統(tǒng)刪除(針對所有沒有共享的資源)。銷毀的過程先要通過設置 PF_EXITING 標志來表明進程正在退出。內(nèi)核的其他方面會利用它來避免在進程被刪除時還試圖處理此進程。將進程從它在其生命期間獲得的各種資源分離開來是通過一系列調(diào)用實現(xiàn)的,比如 exit_mm(刪除內(nèi)存頁)和 exit_keys(釋放線程會話和進程安全鍵)。do_exit 函數(shù)執(zhí)行釋放進程所需的各種統(tǒng)計,這之后,通過調(diào)用 exit_notify 執(zhí)行一系列通知(比如,告知父進程其子進程正在退出)。最后,進程狀態(tài)被更改為 PF_DEAD,并且還會調(diào)用 schedule 函數(shù)來選擇一個將要執(zhí)行的新進程。請注意,如果對父進程的通知是必需的(或進程正在被跟蹤),那么任務將不會徹底消失。如果無需任何通知,就可以調(diào)用 release_task 來實際收回由進程使用的那部分內(nèi)存。
結(jié)束語
Linux 還在不斷演進,其中一個有待進一步創(chuàng)新和優(yōu)化的領域就是進程管理。在堅持 UNIX 原理的同時,Linux 也在不斷突破。新的處理器架構(gòu)、對稱多處理(SMP)以及虛擬化都將促使在內(nèi)核領域內(nèi)取得新進展。其中的一個例子就是 Linux 版本 2.6 中引入的新的 O(1) 調(diào)度程序,它為具有大量任務的系統(tǒng)提供了可伸縮性。另外一個例子就是使用 Native POSIX Thread Library (NPTL) 更新了的線程模型,與之前的 LinuxThreads 模型相比,它帶來了更為有效的線程處理。
?
評論