1.開場(chǎng)白

環(huán)境：

處理器架構(gòu)：arm64

uboot版本：uboot-2020.01

內(nèi)核源碼：linux-5.0

ubuntu版本：20.04.1

ATF版本：2.1

代碼閱讀工具：vim+ctags+cscope

一般嵌入式系統(tǒng)使用的都是對(duì)稱多處理器（Symmetric Multi-Processor, SMP）系統(tǒng)，包含了多個(gè)cpu, 這幾個(gè)cpu都是相同的處理器，如4核Contex-A53。但是在系統(tǒng) 啟動(dòng)階段他們的地位并不是相同的，其中core0是主cpu（也叫引導(dǎo)處理器）,其他core是從cpu（也叫輔處理器）,引導(dǎo)cpu負(fù)責(zé)執(zhí)行我們的啟動(dòng)加載程序如uboot,以及初始化內(nèi)核，系統(tǒng)初始化完成之后主core會(huì)啟動(dòng)從處理器。

一般主處理器啟動(dòng)從處理器有以下三種：

(1).ACPI

**(2).spin-table **

(3).PSCI

第一種ACPI是高級(jí)配置與電源接口（Advanced Configuration and Power Interface）一般在x86平臺(tái)用的比較多，而后兩種spin-table（自旋表）和PSCI（電源狀態(tài)協(xié)調(diào)協(xié)議 Power State Coordination）會(huì)在arm平臺(tái)上使用，本系列 主要講解后兩種 。主要內(nèi)容分為上下兩篇如下：

上篇：

1.開場(chǎng)白

2.cpu啟動(dòng)的一些基本概念

3.支持spin-table情況

下篇：

4.支持psci情況

5.從處理器啟動(dòng)進(jìn)入內(nèi)核世界之后做了些什么

6.最后說(shuō)兩句

2.cpu啟動(dòng)的一些概念

1）cpu啟動(dòng)的含義：cpu可以從內(nèi)存中取指、譯碼、執(zhí)行，當(dāng)然內(nèi)存可以是soc片內(nèi)的sram,也可以是ddr。

2）我們要知道，程序?yàn)楹慰梢栽诙鄠€(gè)cpu上并發(fā)執(zhí)行：他們有各自獨(dú)立的一套寄存器，如：程序計(jì)數(shù)器pc,棧指針寄存器sp,通用寄存器等，可以獨(dú)自 取指、譯碼、執(zhí)行，當(dāng)然內(nèi)存和外設(shè)資源是共享的，多核環(huán)境下當(dāng)訪問(wèn)臨界區(qū) 資源一般 自旋鎖來(lái)防止競(jìng)態(tài)發(fā)生。

3）soc啟動(dòng)流程：soc啟動(dòng)的一般會(huì)從片內(nèi)的rom， 也叫bootrom開始執(zhí)行第一條指令，這個(gè)地址是系統(tǒng)默認(rèn)的啟動(dòng)地址，會(huì)在bootrom中由芯片廠家固化一段啟動(dòng)代碼來(lái)加載啟動(dòng)bootloader到片內(nèi)的sram,啟動(dòng)完成后的bootloader除了做一些硬件初始化之外做的最重要的事情是初始化ddr,因?yàn)閟ram的空間比較小所以需要初始化擁有大內(nèi)存 ddr,最后會(huì)從網(wǎng)絡(luò)/usb下載 或從存儲(chǔ)設(shè)備分區(qū)上加載內(nèi)核到ddr某個(gè)地址，為內(nèi)核傳遞參數(shù)之后，然后bootloader就完成了它的使命，跳轉(zhuǎn)到內(nèi)核，就進(jìn)入了操作系統(tǒng)內(nèi)核的世界。

4）linux內(nèi)核啟動(dòng)流程：bootloader將系統(tǒng)的控制權(quán)交給內(nèi)核之后，他首先會(huì)進(jìn)行處理器架構(gòu)相關(guān)初始化部分，如設(shè)置異常向量表，初始化mmu（之后內(nèi)核就從物理地址空間進(jìn)入了虛擬地址空間的世界，一切是那么的虛無(wú)縹緲，又是那么的恰到好處）等等，然后會(huì)清bss段，設(shè)置sp之后跳轉(zhuǎn)到C語(yǔ)言部分進(jìn)行更加復(fù)雜通用的初始化，其中會(huì)進(jìn)行內(nèi)存方面的初始化，調(diào)度器初始化，文件系統(tǒng)等內(nèi)核基礎(chǔ)組件 初始化工作，隨后會(huì)進(jìn)行關(guān)鍵的從處理器的引導(dǎo)過(guò)程，然后是各種實(shí)質(zhì)性的設(shè)備驅(qū)動(dòng)的初始化，最后 創(chuàng)建系統(tǒng)的第一個(gè)用戶進(jìn)程init后進(jìn)入用戶空間執(zhí)行用戶進(jìn)程宣誓內(nèi)核初始化完成，可以進(jìn)程正常的調(diào)度執(zhí)行。

5）系統(tǒng)初始化階段大多數(shù)都是主處理器做初始化工作，所有不用考慮處理器并發(fā)情況，一旦從處理器被bingup起來(lái)，調(diào)度器和各自的運(yùn)行隊(duì)列準(zhǔn)備就緒，多個(gè)任務(wù)就會(huì)均衡到各個(gè)處理器，開始了并發(fā)的世界，一切是那么的神奇。

3.支持spin-table情況

了解了關(guān)于cpu啟動(dòng)的一些基本概念，下面開始我們的正題，講解arm64常用的兩種cpu啟動(dòng)方式。首先，我們來(lái)看一下比較簡(jiǎn)單的自旋表的方式啟動(dòng)從處理器。

從bootloader說(shuō)起(以u(píng)boot為例)：首先，上電后主處理器和從處理器都會(huì)啟動(dòng)，執(zhí)行uboot，從uboot的_start的匯編代碼開始執(zhí)行，主處理器在uboot中歡快的執(zhí)行后啟動(dòng)內(nèi)核，進(jìn)入內(nèi)核執(zhí)行，而從處理器會(huì)執(zhí)行到spin_table_secondary_jump中（注意：之前執(zhí)行的代碼，設(shè)置的寄存器都是各ｃｐｕ獨(dú)立的寄存器）

arch/arm/cpu/armv8/start.S：
 19 .globl  _start
  20 _start:
...
 151 #if defined(CONFIG_ARMV8_SPIN_TABLE) && !defined(CONFIG_SPL_BUILD)
152         branch_if_master x0, x1, master_cpu    //判斷是否為主cpu(core0),是跳轉(zhuǎn)到master_cpu，否則往下走
153         b       spin_table_secondary_jump   //跳轉(zhuǎn)執(zhí)行
...

arch/arm/cpu/armv8/spin_table_v8.S:

 9 ENTRY(spin_table_secondary_jump)
   10 .globl spin_table_reserve_begin
   11 spin_table_reserve_begin:
  12 0:      wfe   
  13         ldr     x0, spin_table_cpu_release_addr
  14         cbz     x0, 0b
  15         br      x0
   16 .globl spin_table_cpu_release_addr
   17         .align  3
   18 spin_table_cpu_release_addr:
   19         .quad   0
   20 .globl spin_table_reserve_end
   21 spin_table_reserve_end:
   22 ENDPROC(spin_table_secondary_jump)

在spin_table_secondary_jump中：首先會(huì) 執(zhí)行wfe指令，使得從處理器睡眠等待 。如果被喚醒，則從處理器會(huì)判斷spin_table_cpu_release_addr這個(gè)地址是否為０，為０則繼續(xù)跳轉(zhuǎn)到wfe處繼續(xù)睡眠，否則跳轉(zhuǎn)到spin_table_cpu_release_addr指定的地址處執(zhí)行。

那么這個(gè)地址什么時(shí)候會(huì)被設(shè)置呢？答案是：主處理器在uboot中讀取設(shè)備樹的相關(guān)節(jié)點(diǎn)屬性獲得，我們來(lái)看下如何獲得。 執(zhí)行路徑為：

do_bootm_linux
- >boot_prep_linux
 - >image_setup_linux
  - >image_setup_libfdt
  - >arch_fixup_fdt
   - >spin_table_update_dt

在spin_table_update_dt函數(shù)中做了幾件非常重要的事情：

arch/arm/cpu/armv8/spin_table.c：

11 int spin_table_update_dt(void *fdt)
   12 {
   13         int cpus_offset, offset;
   14         const char *prop;
   15         int ret;
   16         unsigned long rsv_addr = (unsigned long)&spin_table_reserve_begin;
   17         unsigned long rsv_size = &spin_table_reserve_end -
   18                                                 &spin_table_reserve_begin;
   19   //獲取設(shè)備樹的cpus節(jié)點(diǎn)的偏移
   20         cpus_offset = fdt_path_offset(fdt, "/cpus");
   21         if (cpus_offset < 0)
   22                 return -ENODEV;
   23   //尋找每一個(gè)device_type屬性為ｃｐｕ的節(jié)點(diǎn)
   24         for (offset = fdt_first_subnode(fdt, cpus_offset);
   25         |    offset >= 0;
   26         |    offset = fdt_next_subnode(fdt, offset)) {
   27                 prop = fdt_getprop(fdt, offset, "device_type", NULL);
   28                 if (!prop || strcmp(prop, "cpu"))
   29                         continue;
   30 
   31                 /*
   32                 |* In the first loop, we check if every CPU node specifies
   33                 |* spin-table.  Otherwise, just return successfully to not
   34                 |* disturb other methods, like psci.
   35                 |*///獲得enable-method屬性，比較屬性值是否為 "spin-table"（即是使用自旋表啟動(dòng)方式）
   36                 prop = fdt_getprop(fdt, offset, "enable-method", NULL);
   37                 if (!prop || strcmp(prop, "spin-table"))
   38                         return 0;
   39         }
40  
   41         for (offset = fdt_first_subnode(fdt, cpus_offset);
   42         |    offset >= 0;
   43         |    offset = fdt_next_subnode(fdt, offset)) {
         //找到ｃｐｕ節(jié)點(diǎn)
   44                 prop = fdt_getprop(fdt, offset, "device_type", NULL);
   45                 if (!prop || strcmp(prop, "cpu"))
   46                         continue;
   47     //重點(diǎn)：設(shè)置cpu-release-addr屬性值為spin_table_cpu_release_addr的地址！
   48                 ret = fdt_setprop_u64(fdt, offset, "cpu-release-addr",
   49                                 (unsigned long)&spin_table_cpu_release_addr);
   50                 if (ret)
   51                         return -ENOSPC;
   52         }
   53   //設(shè)置設(shè)備樹的保留內(nèi)存 ：添加一個(gè)內(nèi)存區(qū)域?yàn)椋保逗停保沸忻枋龅牡刂贩秶ㄟ@是物理地址）
   54         ret = fdt_add_mem_rsv(fdt, rsv_addr, rsv_size);
   55         if (ret)
   56                 return -ENOSPC;
   57 
   58         printf("   Reserved memory region for spin-table: addr=%lx size=%lx\\n",
   59         |      rsv_addr, rsv_size);
   60 
   61         return 0;
   62 }

其實(shí)，他做的工作主要有兩個(gè)：

１．將即將供內(nèi)核使用的設(shè)備樹的cpu節(jié)點(diǎn)的cpu-release-addr屬性設(shè)置為spin_table_cpu_release_addr的地址（這個(gè)地址也就是cpu的釋放地址）。

２．將spin_table_reserve_begin到spin_table_reserve_end符號(hào)描述的地址范圍添加到設(shè)備樹的保留內(nèi)存中。

實(shí)際上保留的是spin_table_secondary_jump匯編函數(shù)的指令代碼段和spin_table_cpu_release_addr地址內(nèi)存，當(dāng)然保留是為了在內(nèi)核中不被內(nèi)存管理使用，這樣這段物理內(nèi)存的數(shù)據(jù)不會(huì)被覆蓋丟失。 注意：spin_table_cpu_release_addr地址處被初始化為０（上面匯編19行）。

先來(lái)看一下一個(gè)使用自旋表作為啟動(dòng)方式的平臺(tái)設(shè)備樹cpu節(jié)點(diǎn)：

arch/arm64/boot/dts/xxx.dtsi:

   cpu@0 {
                        device_type = "cpu";
                        compatible = "arm,armv8";
                        reg = < 0x0 0x000 >;
                        enable-method = "spin-table";
                        cpu-release-addr = < 0x1 0x0000fff8 >;
                };

可以發(fā)現(xiàn)啟動(dòng)方法為spin-table，釋放地址初始化為0x10000fff8。

那么什么時(shí)候釋放地址spin_table_cpu_release_addr　的內(nèi)容不是０呢？

那么我們得回到主處理器流程上來(lái)：主處理器設(shè)置好了設(shè)備樹，傳遞給內(nèi)核設(shè)備樹地址之后就要啟動(dòng)內(nèi)核，啟動(dòng)內(nèi)核之后，執(zhí)行初始化工作，執(zhí)行如下路徑：

setup_arch   //arch/arm64/kernel/setup.c:
- >smp_init_cpus  //arch/arm64/kernel/smp.c
 - >**smp_cpu_setup**
  - >cpu_ops[cpu]- >cpu_init(cpu)
   - >smp_spin_table_ops- >cpu_init  //arch/arm64/kernel/cpu_ops.c
    - >**smp_spin_table_cpu_init**//arch/arm64/kernel/smp_spin_table.c

我們來(lái)看下smp_spin_table_cpu_init函數(shù)：

36 static phys_addr_t cpu_release_addr[NR_CPUS];

54 static int smp_spin_table_cpu_init(unsigned int cpu)
   55 {
   56         struct device_node *dn;
   57         int ret;
   58 
   59         dn = of_get_cpu_node(cpu, NULL);
   60         if (!dn)
   61                 return -ENODEV;      
   62 
   63         /*
   64         |* Determine the address from which the CPU is polling.
   65         |*/
   66         ret = of_property_read_u64(dn, "cpu-release-addr",
   67                                 |  &cpu_release_addr[cpu]);
   68         if (ret)
   69                 pr_err("CPU %d: missing or invalid cpu-release-addr property\\n",
   70                 |      cpu);
   71 
   72         of_node_put(dn);gongz
   73 
   74         return ret;
   75 }

可以發(fā)現(xiàn)，函數(shù)讀取設(shè)備樹的cpu-release-addr屬性值到cpu_release_addr[cpu]中，cpu_release_addr變量是個(gè)NR_CPUS個(gè)元素的數(shù)組，每個(gè)處理器占用一個(gè)元素，其實(shí)也就是 將之前保存的spin_table_reserve_begin符號(hào)的物理地址保存到這個(gè)變量中 。

現(xiàn)在還沒有看到設(shè)置釋放地址的地方，繼續(xù)往下看：

主處理器繼續(xù)執(zhí)行如下路徑：

start_kernel
- >arch_call_rest_init
 - >rest_init
  - >kernel_init,
   - >kernel_init_freeable
    - >**smp_prepare_cpus**  //arch/arm64/kernel/smp.c
     - >cpu_ops[cpu]- >cpu_prepare
      - >smp_spin_table_ops- >cpu_init  //arch/arm64/kernel/cpu_ops.c
       - >**smp_spin_table_cpu_prepare**//arch/arm64/kernel/smp_spin_table.c

我們來(lái)看這個(gè)函數(shù)：

77 static int smp_spin_table_cpu_prepare(unsigned int cpu)
   78 {
   79         __le64 __iomem *release_addr;
   80 
   81         if (!cpu_release_addr[cpu])
   82                 return -ENODEV;
   83 
   84         /*
   85         |* The cpu-release-addr may or may not be inside the linear mapping.
   86         |* As ioremap_cache will either give us a new mapping or reuse the
   87         |* existing linear mapping, we can use it to cover both cases. In
   88         |* either case the memory will be MT_NORMAL.
   89         |*/ //將釋放地址的物理地址映射為虛擬地址
   90         release_addr = ioremap_cache(cpu_release_addr[cpu],
   91                                 |    sizeof(*release_addr));
   92         if (!release_addr)
   93                 return -ENOMEM;
   94 
   95         /*
   96         |* We write the release address as LE regardless of the native
   97         |* endianess of the kernel. Therefore, any boot-loaders that
   98         |* read this address need to convert this address to the
   99         |* boot-loader's endianess before jumping. This is mandated by
  100         |* the boot protocol.
  101         |*///將secondary_holding_pen地址寫到釋放地址處
  102         writeq_relaxed(__pa_symbol(secondary_holding_pen), release_addr);
  103         __flush_dcache_area((__force void *)release_addr,
  104                         |   sizeof(*release_addr));//刷數(shù)據(jù)cache
  105 
  106         /*
  107         |* Send an event to wake up the secondary CPU.
  108         |*/
  109         sev();//發(fā)送事件喚醒從處理器
110    //解除映射
  111         iounmap(release_addr); 
  112 
  113         return 0;
  114 }

上面函數(shù)主要做兩點(diǎn)：

１．102行， ｃｐｕ的釋放地址處寫入secondary_holding_pen的地址，由于獲得的內(nèi)核符號(hào)是虛擬地址所以轉(zhuǎn)化為物理地址寫到釋放地址處 。

２．109行， 喚醒處于ｗｆe狀態(tài)的從處理器 。

我們?cè)俅位氐綇奶幚砥魉叩却牡胤剑涸趨R編函數(shù)spin_table_secondary_jump中喚醒后執(zhí)行，wfe的下幾行指令，判斷spin_table_cpu_release_addr地址處的內(nèi)容是否為０，這個(gè)時(shí)候由于主處理器往這個(gè)地址寫入了釋放地址，所有會(huì)執(zhí)行１５行指令，跳轉(zhuǎn)到secondary_holding_pen處執(zhí)行，請(qǐng)注意：這個(gè)地址是物理地址，而且從處理器還沒有開啟ｍｍｕ，所以從處理器還沒有進(jìn)入虛擬地址的世界。

獲得釋放地址后的從處理器，猶如脫韁的野馬，喚醒后直接進(jìn)入了內(nèi)核的世界去執(zhí)行指令，多么的殘暴，來(lái)到了如下的匯編函數(shù)：

arch/arm64/kernel/head.S：

691         /*
692         |* This provides a "holding pen" for platforms to hold all secondary
693         |* cores are held until we're ready for them to initialise.
694         |*/
695 ENTRY(secondary_holding_pen)
696         bl      el2_setup                       // Drop to EL1, w0=cpu_boot_mode
697         bl      set_cpu_boot_mode_flag
698         mrs     x0, mpidr_el1
699         mov_q   x1, MPIDR_HWID_BITMASK
700         and     x0, x0, x1
701         adr_l   x3, secondary_holding_pen_release
702 pen:    ldr     x4, [x3]
703         cmp     x4, x0
704         b.eq    secondary_startup    
705         wfe   
706         b       pen
707 ENDPROC(secondary_holding_pen)

但是事與愿違，在這個(gè)函數(shù)中又有了一層關(guān)卡：** 689行到701行　判斷是否secondary_holding_pen_release被設(shè)置為了從處理器的編號(hào)，如果設(shè)置的不是我的編號(hào)，則我再次進(jìn)入705行執(zhí)行wfe睡眠等待 ，行吧，那就等待啥時(shí)候主處理器來(lái)將secondary_holding_pen_release設(shè)置為我的處理器編號(hào)吧。那么何時(shí)會(huì)設(shè)置呢？答案是最終要啟動(dòng)從處理器的時(shí)候。**

我們?cè)俅位氐街魈幚砥鞯奶幚砹鞒?，上面主處理器?zhí)行到了smp_prepare_cpus之后，繼續(xù)往下執(zhí)行，代碼路徑如下：

start_kernel
- >arch_call_rest_init
  - >rest_init
    - >kernel_init,
  - >kernel_init_freeable
   - >smp_prepare_cpus //arch/arm64/kernel/smp.c
    - >smp_init  //kernel/smp.c  (這是從處理器啟動(dòng)的函數(shù))
    - >cpu_up
     - >do_cpu_up
      - >_cpu_up
       - >cpuhp_up_callbacks
        - >cpuhp_invoke_callback
         - >cpuhp_hp_states[CPUHP_BRINGUP_CPU]
          - >**bringup_cpu**
           - >__cpu_up  //arch/arm64/kernel/smp.c
            - >boot_secondary
             - >cpu_ops[cpu]- >cpu_boot(cpu)
              - >smp_spin_table_ops.cpu_boot  //arch/arm64/kernel/cpu_ops.c
               - >smp_spin_table_cpu_boot //arch/arm64/kernel/smp_spin_table.c

我們來(lái)看smp_spin_table_cpu_boot函數(shù)：

38 /*
   39  * Write secondary_holding_pen_release in a way that is guaranteed to be
   40  * visible to all observers, irrespective of whether they're taking part
   41  * in coherency or not.  This is necessary for the hotplug code to work
   42  * reliably.
   43  */     
   44 static void write_pen_release(u64 val)
   45 {
   46         void *start = (void *)&secondary_holding_pen_release;
   47         unsigned long size = sizeof(secondary_holding_pen_release);
   48         
   49         secondary_holding_pen_release = val;
   50         __flush_dcache_area(start, size);
   51 }       


116 static int smp_spin_table_cpu_boot(unsigned int cpu)
  117 {
  118         /*
  119         |* Update the pen release flag.
  120         |*/   //將secondary_holding_pen_release內(nèi)容寫為處理器ｉｄ
  121         write_pen_release(cpu_logical_map(cpu));
  122 
  123         /*    
  124         |* Send an event, causing the secondaries to read pen_release.
  125         |*/   //喚醒從處理器
  126         sev();
  127 
  128         return 0;
  129 }

可以看到這里將從處理器編號(hào)寫到了secondary_holding_pen_release中，然后喚醒從處理器，從處理器再次歡快的執(zhí)行，最后執(zhí)行到secondary_startup，來(lái)做從處理器的初始化工作（如設(shè)置ｍｍｕ，異常向量表等），最終從處理器還是處于ｗｆｉ狀態(tài)，但是這個(gè)時(shí)候從處理器已經(jīng)具備了執(zhí)行進(jìn)程的能力，可以用來(lái)調(diào)度進(jìn)程，觸發(fā)中斷等，和主處理器有著相同的地位，后面我們會(huì)分析。耐心讀到這里的讀者，也很不容易了，為你們勇氣點(diǎn)贊。 我覺得源代碼是最好的資料，閱讀源代碼才是最佳的學(xué)習(xí)理解內(nèi)核的方法，當(dāng)然不想看代碼可以直接看下面這張圖解 ：

spin-table方式的多核啟動(dòng)方式，顧名思義在于自旋，主處理器和從處理器上電都會(huì)啟動(dòng)，主處理器執(zhí)行uboot暢通無(wú)阻，從處理器在spin_table_secondary_jump處wfe睡眠，主處理器通過(guò)修改設(shè)備樹的cpu節(jié)點(diǎn)的cpu-release-addr屬性為spin_table_cpu_release_addr，這是從處理器的釋放地址所在的地方，主處理器進(jìn)入內(nèi)核后，會(huì)通過(guò)smp_prepare_cpus函數(shù)調(diào)用spin-table 對(duì)應(yīng)的cpu操作集的cpu_prepare方法從而在smp_spin_table_cpu_prepare函數(shù)中設(shè)置從處理器的釋放地址為secondary_holding_pen這個(gè)內(nèi)核函數(shù)，然后通過(guò)sev指令喚醒從處理器，從處理器繼續(xù)從secondary_holding_pen開始執(zhí)行（從處理器來(lái)到了內(nèi)核的世界），發(fā)現(xiàn)secondary_holding_pen_release不是自己的處理編號(hào)，然后通過(guò)wfe繼續(xù)睡眠，當(dāng)主處理器完成了大多數(shù)的內(nèi)核組件的初始化之后，調(diào)用smp_init來(lái)來(lái)開始真正的啟動(dòng)從處理器，最終調(diào)用spin-table 對(duì)應(yīng)的cpu操作集的cpu_boot方法從而在smp_spin_table_cpu_boot將需要啟動(dòng)的處理器的編號(hào)寫入secondary_holding_pen_release中，然后再次sev指令喚醒從處理器，從處理器得以繼續(xù)執(zhí)行（設(shè)置自己異常向量表，初始化mmu等），最終在idle線程中執(zhí)行wfi睡眠。

其他從處理器也是同樣的方式啟動(dòng)起來(lái)，同樣最后進(jìn)入各種idle進(jìn)程執(zhí)行wfi睡眠，主處理器繼續(xù)往下進(jìn)行內(nèi)核初始化，直到啟動(dòng)init進(jìn)程，后面多個(gè)處理器都被啟動(dòng)起來(lái)，都可以調(diào)度進(jìn)程，多進(jìn)程還會(huì)被均衡到多核。