5 Kprobe && systemtap

5.1 內(nèi)核kprobe機(jī)制

kprobe 是 linux 內(nèi)核的一個(gè)重要特性, 是一個(gè)輕量級(jí)的內(nèi)核調(diào)試工具, 同時(shí)它又是其他一些更高級(jí)的內(nèi)核調(diào)試工具(比如 perf 和 systemtap)的 “基礎(chǔ)設(shè)施”, 4.0版本的內(nèi)核中, 強(qiáng)大的 eBPF 特性也寄生于 kprobe 之上, 所以 kprobe 在內(nèi)核中的地位就可見(jiàn)一斑了.

Kprobes 提供了一個(gè)強(qiáng)行進(jìn)入任何內(nèi)核例程并從中斷處理器無(wú)干擾地收集信息的接口. 使用 Kprobes 可以收集處理器寄存器和全局?jǐn)?shù)據(jù)結(jié)構(gòu)等調(diào)試信息。開(kāi)發(fā)者甚至可以使用 Kprobes 來(lái)修改 寄存器值和全局?jǐn)?shù)據(jù)結(jié)構(gòu)的值.

如何高效地調(diào)試內(nèi)核?

printk 是一種方法, 但是 printk 終歸是毫無(wú)選擇地全量輸出, 某些場(chǎng)景下不實(shí)用, 于是你可以試一下tracepoint, 我使能 tracepoint 機(jī)制的時(shí)候才輸出. 對(duì)于傻傻地放置 printk 來(lái)輸出信息的方式,tracepoint 是個(gè)進(jìn)步, 但是 tracepoint 只是內(nèi)核在某些特定行為(比如進(jìn)程切換)上部署的一些靜態(tài)錨點(diǎn), 這些錨點(diǎn)并不一定是你需要的, 所以你仍然需要自己部署tracepoint, 重新編譯內(nèi)核. 那么kprobe 的出現(xiàn)就很有必要了, 它可以在運(yùn)行的內(nèi)核中動(dòng)態(tài)插入探測(cè)點(diǎn), 執(zhí)行你預(yù)定義的操作.

它的基本工作機(jī)制是 : 用戶(hù)指定一個(gè)探測(cè)點(diǎn), 并把一個(gè)用戶(hù)定義的處理函數(shù)關(guān)聯(lián)到該探測(cè)點(diǎn), 當(dāng)內(nèi)核執(zhí)行到該探測(cè)點(diǎn)時(shí), 相應(yīng)的關(guān)聯(lián)函數(shù)被執(zhí)行，然后繼續(xù)執(zhí)行正常的代碼路徑.

kprobe 實(shí)現(xiàn)了三種類(lèi)型的探測(cè)點(diǎn) : kprobes, jprobes和 kretprobes(也叫返回探測(cè)點(diǎn)). kprobes 是可以被插入到內(nèi)核的任何指令位置的探測(cè)點(diǎn), jprobes 則只能被插入到一個(gè)內(nèi)核函數(shù)的入口, 而 kretprobes 則是在指定的內(nèi)核函數(shù)返回時(shí)才被執(zhí)行.

相關(guān)資料鏈接：

kprobe工作原理：http://blog.itpub.net/15480802/viewspace-1162094/

隨想錄(強(qiáng)大的kprobe)：http://blog.csdn.net/feixiaoxing/article/details/40351811

kprobe原理解析（一）：http://www.cnblogs.com/honpey/p/4575928.html

5.2 前端工具systemtap

SystemTap 是監(jiān)控和跟蹤運(yùn)行中的 Linux 內(nèi)核的操作的動(dòng)態(tài)方法. 這句話的關(guān)鍵詞是動(dòng)態(tài), 因?yàn)?SystemTap 沒(méi)有使用工具構(gòu)建一個(gè)特殊的內(nèi)核, 而是允許您在運(yùn)行時(shí)動(dòng)態(tài)地安裝該工具. 它通過(guò)一個(gè)Kprobes 的應(yīng)用編程接口 (API) 來(lái)實(shí)現(xiàn)該目的.

SystemTap 與一種名為 DTrace 的老技術(shù)相似，該技術(shù)源于 Sun Solaris 操作系統(tǒng). 在 DTrace 中, 開(kāi)發(fā)人員可以用 D 編程語(yǔ)言(C 語(yǔ)言的子集, 但修改為支持跟蹤行為)編寫(xiě)腳本. DTrace 腳本包含許多探針和相關(guān)聯(lián)的操作, 這些操作在探針 “觸發(fā)” 時(shí)發(fā)生. 例如, 探針可以表示簡(jiǎn)單的系統(tǒng)調(diào)用，也可以表示更加復(fù)雜的交互，比如執(zhí)行特定的代碼行

DTrace 是 Solaris 最引人注目的部分, 所以在其他操作系統(tǒng)中開(kāi)發(fā)它并不奇怪. DTrace 是在 Common Development and Distribution License (CDDL) 之下發(fā)行的, 并且被移植到 FreeBSD 操作系統(tǒng)中.

另一個(gè)非常有用的內(nèi)核跟蹤工具是 ProbeVue, 它是 IBM 為 IBM? AIX? 操作系統(tǒng) 6.1 開(kāi)發(fā)的. 您可以使用 ProbeVue 探查系統(tǒng)的行為和性能, 以及提供特定進(jìn)程的詳細(xì)信息. 這個(gè)工具使用一個(gè)標(biāo)準(zhǔn)的內(nèi)核以動(dòng)態(tài)的方式進(jìn)行跟蹤.

考慮到 DTrace 和 ProbeVue 在各自的操作系統(tǒng)中的巨大作用, 為 Linux 操作系統(tǒng)策劃一個(gè)實(shí)現(xiàn)該功能的開(kāi)源項(xiàng)目是勢(shì)不可擋的. SystemTap 從 2005 年開(kāi)始開(kāi)發(fā), 它提供與 DTrace 和 ProbeVue 類(lèi)似的功能. 許多社區(qū)還進(jìn)一步完善了它, 包括 Red Hat、Intel、Hitachi 和 IBM 等.

這些解決方案在功能上都是類(lèi)似的, 在觸發(fā)探針時(shí)使用探針和相關(guān)聯(lián)的操作腳本.

相關(guān)資料鏈接：

SystemTap 學(xué)習(xí)筆記 - 安裝篇：https://segmentfault.com/a/1190000000671438

Linux 自檢和 SystemTap 用于動(dòng)態(tài)內(nèi)核分析的接口和語(yǔ)言：https://www.ibm.com/developerworks/cn/linux/l-systemtap/

Brendan’s blog Using SystemTap：http://dtrace.org/blogs/brendan/2011/10/15/using-systemtap/

內(nèi)核調(diào)試神器SystemTap — 簡(jiǎn)介與使用（一）：http://blog.csdn.net/zhangskd/article/details/25708441

內(nèi)核探測(cè)工具systemtap簡(jiǎn)介：http://www.cnblogs.com/hazir/p/systemtap_introduction.html

SystemTap Beginner：http://blog.csdn.net/kafeiflynn/article/details/6429976

使用systemtap調(diào)試linux內(nèi)核：http://blog.csdn.net/heli007/article/details/7187748

Ubuntu Kernel Debuginfo：http://ddebs.ubuntu.com/pool/main/l/linux

Linux 下的一個(gè)全新的性能測(cè)量和調(diào)式診斷工具 Systemtap, 第 3 部分: Systemtap：https://www.ibm.com/developerworks/cn/linux/l-cn-systemtap3/

6 kgdb && kgtp

6.1 kgdb

• KDB 和 KGDB 合并, 并進(jìn)入內(nèi)核

KGDB 是大名鼎鼎的內(nèi)核調(diào)試工具, 他是由 KDB 和 KGDB 項(xiàng)目合并而來(lái).

kdb 是一個(gè)Linux系統(tǒng)的內(nèi)核調(diào)試器, 它是由SGI公司開(kāi)發(fā)的遵循GPL許可證的開(kāi)放源碼調(diào)試工具. kdb 嵌入在Linux 內(nèi)核中. 為內(nèi)核&&驅(qū)動(dòng)程序員提供調(diào)試手段. 它適合于調(diào)試內(nèi)核空間的程序代碼. 譬如進(jìn)行設(shè)備驅(qū)動(dòng)程序調(diào)試. 內(nèi)核模塊的調(diào)試等.

kgdb 和 kdb 現(xiàn)在已經(jīng)合并了. 對(duì)于一個(gè)正在運(yùn)行的kgdb 而言, 可以使用 gdbmonitor 命令來(lái)使用 kdb 命令. 比如

(gdb)gdb monitor ps -A

就可以運(yùn)行 kdb 的 ps 命令了.

分析一下 kdb 補(bǔ)丁和合入主線的 kdb 有啥不同

kdb跟 kgdb 合并之后, 也可以使用 kgdb 的IO 驅(qū)動(dòng)(比如鍵盤(pán)), 但是同時(shí)也 kdb也喪失了一些功能.合并之后的kdb不在支持匯編級(jí)的源碼調(diào)試. 因此它現(xiàn)在也是平臺(tái)獨(dú)立的.

1. kdump和kexec已經(jīng)被移除。
2. 從/proc/meninfo中獲取的信息比以前少了。
3. bt命令現(xiàn)在使用的是內(nèi)核的backtracer，而不是kdb原來(lái)使用的反匯編。
4. 合并之后的kdb不在具有原來(lái)的反匯編（id命令）

總結(jié)一下 : kdb 和 kgdb 合并之后，系統(tǒng)中對(duì)這兩種調(diào)試方式幾乎沒(méi)有了明顯的界限，比如通過(guò)串口進(jìn)行遠(yuǎn)程訪問(wèn)的時(shí)候，可以使用 kgdb 命令, 也可以使用 kdb 命令（使用gdb monitor實(shí)現(xiàn)）

6.2 KGTP

KGTP 是一個(gè) 實(shí)時(shí) 輕量級(jí) Linux 調(diào)試器 和 跟蹤器. 使用 KGTP

使用 KGTP 不需要在 Linux 內(nèi)核上打 PATCH 或者重新編譯, 只要編譯KGTP模塊并 insmod 就可以.

其讓 Linux 內(nèi)核提供一個(gè)遠(yuǎn)程 GDB 調(diào)試接口, 于是在本地或者遠(yuǎn)程的主機(jī)上的GDB可以在不需要停止內(nèi)核的情況下用 GDB tracepoint 和其他一些功能 調(diào)試 和 跟蹤 Linux.

即使板子上沒(méi)有 GDB 而且其沒(méi)有可用的遠(yuǎn)程接口, KGTP 也可以用離線調(diào)試的功能調(diào)試內(nèi)核（見(jiàn)http://code.google.com/p/kgtp/wiki/HOWTOCN#/sys/kernel/debug/gtpframe和離線調(diào)試）。

KGTP支持 X86-32 ， X86-64 ， MIPS 和 ARM 。

KGTP在Linux內(nèi)核 2.6.18到upstream 上都被測(cè)試過(guò)。

而且還可以用在 Android 上(見(jiàn) http://code.google.com/p/kgtp/wiki/HowToUseKGTPinAndroid)

相關(guān)資料鏈接：

github-KGTP：https://github.com/teawater/kgtp

KGTP內(nèi)核調(diào)試使用：http://blog.csdn.net/djinglan/article/details/15335653

KGTP中增加對(duì)GDB命令“set trace-buffer-size”的支持 - Week 5：http://blog.csdn.net/calmdownba/article/details/38659317

7 perf

Perf 是用來(lái)進(jìn)行軟件性能分析的工具。

通過(guò)它, 應(yīng)用程序可以利用 PMU, tracepoint 和內(nèi)核中的特殊計(jì)數(shù)器來(lái)進(jìn)行性能統(tǒng)計(jì). 它不但可以分析指定應(yīng)用程序的性能問(wèn)題 (per thread). 也可以用來(lái)分析內(nèi)核的性能問(wèn)題, 當(dāng)然也可以同時(shí)分析應(yīng)用代碼和內(nèi)核，從而全面理解應(yīng)用程序中的性能瓶頸.

最初的時(shí)候, 它叫做 Performance counter, 在 2.6.31 中第一次亮相. 此后他成為內(nèi)核開(kāi)發(fā)最為活躍的一個(gè)領(lǐng)域. 在 2.6.32 中它正式改名為 Performance Event, 因?yàn)?perf 已不再僅僅作為 PMU 的抽象, 而是能夠處理所有的性能相關(guān)的事件.

使用 perf, 您可以分析程序運(yùn)行期間發(fā)生的硬件事件，比如 instructions retired , processor clock cycles 等; 您也可以分析軟件事件, 比如 Page Fault 和進(jìn)程切換。

這使得 Perf 擁有了眾多的性能分析能力, 舉例來(lái)說(shuō)，使用 Perf 可以計(jì)算每個(gè)時(shí)鐘周期內(nèi)的指令數(shù), 稱(chēng)為 IPC, IPC 偏低表明代碼沒(méi)有很好地利用 CPU.

Perf 還可以對(duì)程序進(jìn)行函數(shù)級(jí)別的采樣, 從而了解程序的性能瓶頸究竟在哪里等等. Perf 還可以替代 strace, 可以添加動(dòng)態(tài)內(nèi)核 probe 點(diǎn). 還可以做 benchmark 衡量調(diào)度器的好壞.

人們或許會(huì)稱(chēng)它為進(jìn)行性能分析的”瑞士軍刀”, 但我不喜歡這個(gè)比喻, 我覺(jué)得 perf 應(yīng)該是一把世間少有的倚天劍.

金庸筆下的很多人都有對(duì)寶刀的癖好, 即便本領(lǐng)低微不配擁有, 但是喜歡, 便無(wú)可奈何. 我恐怕正如這些人一樣, 因此進(jìn)了酒館客棧, 見(jiàn)到相熟或者不相熟的人, 就要興沖沖地要講講那倚天劍的故事.

相關(guān)資料鏈接：

Perf – Linux下的系統(tǒng)性能調(diào)優(yōu)工具，第 1 部分：https://www.ibm.com/developerworks/cn/linux/l-cn-perf1/index.html

perf Examples：http://www.brendangregg.com/perf.html

改進(jìn)版的perf, Performance analysis tools based on Linux perf_events (aka perf) and ftrace：https://github.com/brendangregg/perf-tools

Perf使用教程：http://blog.chinaunix.net/uid-10540984-id-3854969.html

linux下的內(nèi)核測(cè)試工具——perf使用簡(jiǎn)介：http://blog.csdn.net/trochiluses/article/details/10261339

perf 移植：http://www.cnblogs.com/helloworldtoyou/p/5585152.html

8 其他Tracer工具

8.1 LTTng

LTTng 是一個(gè) Linux 平臺(tái)開(kāi)源的跟蹤工具, 是一套軟件組件, 可允許跟蹤 Linux 內(nèi)核和用戶(hù)程序, 并控制跟蹤會(huì)話(開(kāi)始/停止跟蹤、啟動(dòng)/停止事件 等等). 這些組件被綁定如下三個(gè)包 :

相關(guān)資料鏈接：

Linux 平臺(tái)開(kāi)源的跟蹤工具：LTTng：http://www.open-open.com/lib/view/open1413946397247.html

用 lttng 跟蹤內(nèi)核：http://blog.csdn.net/xsckernel/article/details/17794551

LTTng and LTTng project：http://blog.csdn.net/ganggexiongqi/article/details/6664331

8.2 eBPF

extended Berkeley Packet Filter（eBPF）是一個(gè)可以在事件上運(yùn)行程序的高效內(nèi)核虛擬機(jī)（JIT）。它可能最終會(huì)提供 ftrace 和 perf_events 的內(nèi)核編程，并強(qiáng)化其他的 tracer。這是 Alexei Starovoitov 目前正在開(kāi)發(fā)的，還沒(méi)有完全集成，但是從4.1開(kāi)始已經(jīng)對(duì)一些優(yōu)秀的工具有足夠的內(nèi)核支持了，如塊設(shè)備I/O的延遲熱圖?？蓞⒖计渲饕髡?Alexei Starovoitov 的BPF slides和eBPF samples。

8.3 Ktap

ktap 在過(guò)去是一款前景很好的 tracer，它使用內(nèi)核中的 lua 虛擬機(jī)處理，在沒(méi)有調(diào)試信息的情況下在嵌入式設(shè)備上運(yùn)行的很好。它分為幾個(gè)步驟，并在有一段時(shí)間似乎超過(guò)了 Linux 上所有的追蹤器。然后 eBPF 開(kāi)始進(jìn)行內(nèi)核集成，而 ktap 的集成在它可以使用 eBPF 替代它自己的虛擬機(jī)后才開(kāi)始。因?yàn)?eBPF 仍將持續(xù)集成幾個(gè)月，ktap 開(kāi)發(fā)者要繼續(xù)等上一段時(shí)間。我希??今年晚些時(shí)候它能重新開(kāi)發(fā)。

8.4 dtrace4linux

dtrace4linux 主要是 Paul Fox 一個(gè)人在業(yè)余時(shí)間完成的，它是 Sun DTrace 的 Linux 版本。它引入矚目，還有一些 provider 可以運(yùn)行，但是從某種程度上來(lái)說(shuō)還不完整，更多的是一種實(shí)驗(yàn)性的工具（不安全）。我認(rèn)為，顧忌到許可問(wèn)題，人們會(huì)小心翼翼的為 dtrace4linux 貢獻(xiàn)代碼：由于當(dāng)年 Sun 開(kāi)源DTrace 使用的是 CDDL 協(xié)議，而 dtrace4linux 也不大可能最終進(jìn)入 Linux kernel。Paul 的方法很可能會(huì)使其成為一個(gè) add-on。我很樂(lè)意看到 Linux 平臺(tái)上的 DTrace 和這個(gè)項(xiàng)目的完成，我認(rèn)為當(dāng)我加入 Netflix 后將會(huì)花些時(shí)間來(lái)協(xié)助完成這個(gè)項(xiàng)目。然而，我還是要繼續(xù)使用內(nèi)置的 tracers，如 ftrace 和 perf_events。

8.5 OL DTrace

Oracle Linux DTrace為了將 DTrace 引入 Linux，特別是 Oracle Linux，做出了很大的努力。這些年來(lái)發(fā)布的多個(gè)版本表明了它的穩(wěn)定進(jìn)展。開(kāi)發(fā)者們以一種對(duì)這個(gè)項(xiàng)目的前景看好的態(tài)度談?wù)撝倪M(jìn) DTrace 測(cè)試套件。很多有用的 provider 已經(jīng)完成了，如：syscall, profile, sdt, proc, sched 以及USDT。我很期待 fbt（function boundary tracing, 用于內(nèi)核動(dòng)態(tài)跟蹤）的完成，它是 Linux 內(nèi)核上非常棒的 provider。OL DTrace 最終的成功將取決于人們對(duì)運(yùn)行 Oracle Linux（為技術(shù)支持付費(fèi)）有多大興趣，另一方面取決于它是否完全開(kāi)源：它的內(nèi)核元件是開(kāi)源的，而我沒(méi)有看到它的用戶(hù)級(jí)別代碼。

8.6 sysdig

sysdig是一個(gè)使用類(lèi)tcpdump語(yǔ)法來(lái)操作系統(tǒng)事件的新tracer，它使用lua提交進(jìn)程。它很優(yōu)秀，它見(jiàn)證了系統(tǒng)跟蹤領(lǐng)域的變革。它的局限性在于它只在當(dāng)前進(jìn)行系統(tǒng)調(diào)用，在提交進(jìn)行時(shí)將所有事件轉(zhuǎn)儲(chǔ)為用戶(hù)級(jí)別。你可以使用系統(tǒng)調(diào)用做很多事情，然而我還是很希望它能支持跟蹤點(diǎn)、kprobe和uprobe。我還期待它能支持eBPF做內(nèi)核摘要。目前，sysdig開(kāi)發(fā)者正在增加容器支持。留意這些內(nèi)容。

原文作者：CHENG Jian 原文鏈接：https://kernel.blog.csdn.net/article/details/68948080