本篇是通用內(nèi)核啟動階段，一般是C語言實(shí)現(xiàn)。

承接上篇，start_kernel函數(shù)板級引導(dǎo)階段進(jìn)入通用內(nèi)核啟動階段的第一個函數(shù)，從編程語言角度理解，也是匯編進(jìn)入C語言的第一個函數(shù)。

該函數(shù)定義在init/main.c文件內(nèi)，它主要完成Linux啟動之前的一些初始化工作，該函數(shù)內(nèi)調(diào)用的子函數(shù)非常多，大多子函數(shù)十分復(fù)雜，我們先從整體理解初始化流程，后續(xù)結(jié)合每個模塊再回頭理解子函數(shù)初始化的意義。

1、start_kernel函數(shù)添加注釋，根據(jù)注釋來理解

asmlinkage __visible void __init start_kernel(void)
{
  char *command_line; // 存放BootLoader的傳參
  char *after_dashes;


  set_task_stack_end_magic(&init_task); // 設(shè)置任務(wù)堆棧結(jié)束幻數(shù)，可以檢測堆棧溢出
  smp_setup_processor_id();   // 如果非SMP則為空函數(shù)，是SMP則設(shè)置處理器ID
  debug_objects_early_init(); // debug提前初始化


  cgroup_init_early(); // control group 提前初始化


  local_irq_disable(); // 關(guān)閉當(dāng)前CPU中斷
  early_boot_irqs_disabled = true; // 系統(tǒng)中斷關(guān)閉標(biāo)志，當(dāng)early init完成后，設(shè)置為false


  /*
   * Interrupts are still disabled. Do necessary setups, then
   * enable them.
   */
  boot_cpu_init();     // CPU相關(guān)初始化，CPU位圖管理
  page_address_init(); // 頁地址初始化，主要是初始化高端內(nèi)存映射表
  pr_notice("%s", linux_banner); // 打印Linux版本信息和kernel編譯時間等信息
  early_security_init(); // LSM 早期初始化
  setup_arch(&command_line); // 和ARM架構(gòu)相關(guān)，解析ATAGS或設(shè)備樹，解析的參數(shù)放入command_line
  setup_command_line(command_line); // 保存命令行，日后再用
  setup_nr_cpu_ids(); // 獲取nr_cpu_ids個數(shù)，即CPU核數(shù)量
  setup_per_cpu_areas(); // 設(shè)置SMP體系每個CPU使用的內(nèi)存空間，并拷貝初始化段內(nèi)的數(shù)據(jù)
  smp_prepare_boot_cpu();  /* arch-specific boot-cpu hooks */
  boot_cpu_hotplug_init(); // 初始化CPU熱插拔


  build_all_zonelists(NULL); // 設(shè)置內(nèi)存管理相關(guān)的node（節(jié)點(diǎn)，每個CPU一個內(nèi)存節(jié)點(diǎn)）和其中的zone（內(nèi)存域，包含于節(jié)點(diǎn)中，如）數(shù)據(jù)結(jié)構(gòu),以完成內(nèi)存管理子系統(tǒng)的初始化，并設(shè)置bootmem分配器
  page_alloc_init(); // 設(shè)置內(nèi)存頁分配通知器


  pr_notice("Kernel command line: %s\\n", boot_command_line);
  /* parameters may set static keys */
  jump_label_init();
  parse_early_param(); // 解析boot_command_line的參數(shù)
  after_dashes = parse_args("Booting kernel",
          static_command_line, __start___param,
          __stop___param - __start___param,
          -1, -1, NULL, &unknown_bootoption);
  if (!IS_ERR_OR_NULL(after_dashes))
    parse_args("Setting init args", after_dashes, NULL, 0, -1, -1,
         NULL, set_init_arg);


  /*
   * These use large bootmem allocations and must precede
   * kmem_cache_init()
   */
  setup_log_buf(0); // 使用boot mem分配一個記錄啟動信息的緩沖區(qū)
  vfs_caches_init_early(); // 前期虛擬文件系統(tǒng)(vfs)的緩存初始化
  sort_main_extable(); // 對內(nèi)核異常表(exception_table)按照異常向量號大小進(jìn)行排序，以便加速訪問
  trap_init(); // 對內(nèi)核陷阱異常進(jìn)行初始化，在ARM系統(tǒng)里是空函數(shù)，沒有任何的初始化
  mm_init(); // 內(nèi)存初始化，標(biāo)記可使用內(nèi)存，告知系統(tǒng)還剩多少內(nèi)存可使用


  ftrace_init(); // ftrace用于內(nèi)核函數(shù)的trace功能


  /* trace_printk can be enabled here */
  early_trace_init(); // 為trace_printk等分配buffer


  /*
   * Set up the scheduler prior starting any interrupts (such as the
   * timer interrupt). Full topology setup happens at smp_init()
   * time - but meanwhile we still have a functioning scheduler.
   */
  sched_init(); // 對進(jìn)程調(diào)度器的數(shù)據(jù)結(jié)構(gòu)進(jìn)行初始化，創(chuàng)建運(yùn)行隊(duì)列，設(shè)置當(dāng)前任務(wù)的空線程，當(dāng)前任務(wù)的調(diào)度策略為CFS調(diào)度器
  /*
   * Disable preemption - early bootup scheduling is extremely
   * fragile until we cpu_idle() for the first time.
   */
  preempt_disable(); // 關(guān)閉優(yōu)先級調(diào)度。由于每個進(jìn)程任務(wù)都有優(yōu)先級，目前系統(tǒng)還沒有完全初始化，還不能打開優(yōu)先級調(diào)度
  if (WARN(!irqs_disabled(),
     "Interrupts were enabled *very* early, fixing it\\n"))
    local_irq_disable();
  radix_tree_init(); // 內(nèi)核radis 樹算法初始化


  /*
   * Set up housekeeping before setting up workqueues to allow the unbound
   * workqueue to take non-housekeeping into account.
   */
  housekeeping_init(); // 在設(shè)置工作隊(duì)列之前設(shè)置內(nèi)部管理


  /*
   * Allow workqueue creation and work item queueing/cancelling
   * early.  Work item execution depends on kthreads and starts after
   * workqueue_init().
   */
  workqueue_init_early(); // 工作隊(duì)列早期初始化


  rcu_init(); // Read Copy Update 初始化


  /* Trace events are available after this */
  trace_init(); // trace event的初始化


  if (initcall_debug)
    initcall_debug_enable();


  context_tracking_init();
  /* init some links before init_ISA_irqs() */
  early_irq_init(); // 前期外部中斷描述符初始化，主要初始化數(shù)據(jù)結(jié)構(gòu)
  init_IRQ(); // 調(diào)用machine_desc- >init_irq()對中斷初始化
  tick_init(); // 初始化內(nèi)核時鐘系統(tǒng)
  rcu_init_nohz();
  init_timers(); // 初始化引導(dǎo)CPU的時鐘相關(guān)的數(shù)據(jù)結(jié)構(gòu)體，和初始化時鐘軟中斷
  hrtimers_init(); // 初始化高精度的定時器
  softirq_init(); // 初始化軟中斷(tasklet和hi)
  timekeeping_init(); // 初始化系統(tǒng)時鐘計(jì)時


  /*
   * For best initial stack canary entropy, prepare it after:
   * - setup_arch() for any UEFI RNG entropy and boot cmdline access
   * - timekeeping_init() for ktime entropy used in rand_initialize()
   * - rand_initialize() to get any arch-specific entropy like RDRAND
   * - add_latent_entropy() to get any latent entropy
   * - adding command line entropy
   */
  rand_initialize(); // 初始化內(nèi)核隨機(jī)數(shù)產(chǎn)生器
  add_latent_entropy();
  add_device_randomness(command_line, strlen(command_line));
  boot_init_stack_canary();


  time_init(); // system timer或arch timer初始化
  printk_safe_init();
  perf_event_init(); // CPU性能監(jiān)視機(jī)制初始化
  profile_init(); // 分配內(nèi)核性能統(tǒng)計(jì)保存的內(nèi)存
  call_function_init(); // 初始化PerCPU的call_single_queue，注冊CPU熱插拔通知函數(shù)到CPU通知鏈
  WARN(!irqs_disabled(), "Interrupts were enabled early\\n");


  early_boot_irqs_disabled = false;
  local_irq_enable(); // 打開本地CPU的中斷


  kmem_cache_init_late(); // 內(nèi)核內(nèi)存緩存(slab分配器)的后期初始化,之后可使用通用內(nèi)存緩存


  /*
   * HACK ALERT! This is early. We're enabling the console before
   * we've done PCI setups etc, and console_init() must be aware of
   * this. But we do want output early, in case something goes wrong.
   */
  console_init(); // 之前的打印都是打印到緩存，初始化控制臺完成后，便可輸出內(nèi)容
  if (panic_later)
    panic("Too many boot %s vars at `%s'", panic_later,
          panic_param);


  lockdep_init(); // 打印鎖的依賴信息，用來調(diào)試鎖。


  /*
   * Need to run this when irqs are enabled, because it wants
   * to self-test [hard/soft]-irqs on/off lock inversion bugs
   * too:
   */
  locking_selftest(); // 自測鎖的API是否使用正常


  /*
   * This needs to be called before any devices perform DMA
   * operations that might use the SWIOTLB bounce buffers. It will
   * mark the bounce buffers as decrypted so that their usage will
   * not cause "plain-text" data to be decrypted when accessed.
   */
  mem_encrypt_init();


#ifdef CONFIG_BLK_DEV_INITRD // 檢查initrd的位置是否符合要求
  if (initrd_start && !initrd_below_start_ok &&
      page_to_pfn(virt_to_page((void *)initrd_start)) < min_low_pfn) {
    pr_crit("initrd overwritten (0x%08lx < 0x%08lx) - disabling it.\\n",
        page_to_pfn(virt_to_page((void *)initrd_start)),
        min_low_pfn);
    initrd_start = 0;
  }
#endif
  setup_per_cpu_pageset(); // 預(yù)先創(chuàng)建每個CPU的高速緩存集合數(shù)組并初始化
  numa_policy_init(); // 初始化NUMA的內(nèi)存訪問策略
  acpi_early_init(); // 初始化ACPI電源管理(高級配置及電源接口)
  if (late_time_init)
    late_time_init(); // 運(yùn)行時鐘后期初始化
  sched_clock_init(); // 每個CPU進(jìn)行系統(tǒng)進(jìn)程調(diào)度時鐘初始化
  calibrate_delay(); // 計(jì)算CPU需要校準(zhǔn)的時間
  pid_idr_init(); // 初始化 idr 
  anon_vma_init(); // 初始化反向映射的匿名內(nèi)存，提供反向查找內(nèi)存的結(jié)構(gòu)指針位置，快速地回收內(nèi)存
#ifdef CONFIG_X86
  if (efi_enabled(EFI_RUNTIME_SERVICES))
    efi_enter_virtual_mode();
#endif
  thread_stack_cache_init(); // 進(jìn)程棧緩存初始化
  cred_init(); // 任務(wù)信用系統(tǒng)初始化
  fork_init(); // 根據(jù)當(dāng)前物理內(nèi)存計(jì)算出來可以創(chuàng)建進(jìn)程（線程）的最大數(shù)量，并進(jìn)行進(jìn)程環(huán)境初始化，為task_struct分配空間
  proc_caches_init(); // 進(jìn)程緩存初始化，為進(jìn)程初始化創(chuàng)建機(jī)制所需的其他數(shù)據(jù)結(jié)構(gòu)申請空間
  uts_ns_init(); 
  buffer_init(); // 初始化文件系統(tǒng)的緩沖區(qū)，并計(jì)算最大可以使用的文件緩存
  key_init(); // 初始化內(nèi)核安全鍵管理列表和結(jié)構(gòu)，內(nèi)核密鑰管理系統(tǒng)
  security_init(); // 初始化內(nèi)核安全管理框架，以便提供訪問文件/登錄等權(quán)限
  dbg_late_init(); // 內(nèi)核調(diào)試系統(tǒng)后期初始化 
  vfs_caches_init(); // 虛擬文件系統(tǒng)進(jìn)行緩存初始化，提高虛擬文件系統(tǒng)的訪問速度
  pagecache_init(); // 頁緩存初始化
  signals_init(); // 初始化信號隊(duì)列緩存,信號管理系統(tǒng)
  seq_file_init();
  proc_root_init(); // 初始化系統(tǒng)進(jìn)程文件系統(tǒng)，主要提供內(nèi)核與用戶進(jìn)行交互的平臺，方便用戶實(shí)時查看進(jìn)程的信息
  nsfs_init();
  cpuset_init(); // 初始化CPUSET，CPUSET主要為控制組提供CPU和內(nèi)存節(jié)點(diǎn)的管理的結(jié)構(gòu)
  cgroup_init(); // 進(jìn)程控制組正式初始化，主要用來為進(jìn)程和其子程提供性能控制
  taskstats_init_early(); // 任務(wù)狀態(tài)早期初始化，為結(jié)構(gòu)體獲取高速緩存，并初始化互斥機(jī)制。任務(wù)狀態(tài)主要向用戶提供任務(wù)的狀態(tài)信息
  delayacct_init(); // 任務(wù)延遲機(jī)制初始化，初始化每個任務(wù)延時計(jì)數(shù)


  poking_init();
  check_bugs(); // 檢查CPU配置、FPU等是否非法使用不具備的功能，檢查CPU BUG，軟件規(guī)避BUG


  acpi_subsystem_init();
  arch_post_acpi_subsys_init();
  sfi_init_late(); // SFI 初始程序晚期設(shè)置函數(shù)


  /* Do the rest non-__init'ed, we're now alive */
  arch_call_rest_init(); // 剩余的初始化，接下來內(nèi)核開始工作了
}

2、rest_init剩余初始化

arch_call_rest_init函數(shù)內(nèi)調(diào)用rest_init完成剩余初始化，并讓CPU進(jìn)入idle。

rest_init函數(shù)比較簡單，分為以下幾個內(nèi)容：

• 開啟RCU
• 調(diào)用kernel_thread創(chuàng)建kernel_init和kthreadd內(nèi)核線程
• 調(diào)用schedule_preempt_disabled->schedule()開啟內(nèi)核調(diào)度
• 調(diào)用cpu_startup_entry->do_idle()結(jié)束內(nèi)核啟動。

noinline void __ref rest_init(void)
{
    struct task_struct *tsk;
    int pid;


    rcu_scheduler_starting();
    /*
     * We need to spawn init first so that it obtains pid 1, however
     * the init task will end up wanting to create kthreads, which, if
     * we schedule it before we create kthreadd, will OOPS.
     */
    pid = kernel_thread(kernel_init, NULL, CLONE_FS);
    /*
     * Pin init on the boot CPU. Task migration is not properly working
     * until sched_init_smp() has been run. It will set the allowed
     * CPUs for init to the non isolated CPUs.
     */
    rcu_read_lock();
    tsk = find_task_by_pid_ns(pid, &init_pid_ns);
    set_cpus_allowed_ptr(tsk, cpumask_of(smp_processor_id()));
    rcu_read_unlock();


    numa_default_policy();
    pid = kernel_thread(kthreadd, NULL, CLONE_FS | CLONE_FILES);
    rcu_read_lock();
    kthreadd_task = find_task_by_pid_ns(pid, &init_pid_ns);
    rcu_read_unlock();
    /*
     * Enable might_sleep() and smp_processor_id() checks.
     * They cannot be enabled earlier because with CONFIG_PREEMPTION=y
     * kernel_thread() would trigger might_sleep() splats. With
     * CONFIG_PREEMPT_VOLUNTARY=y the init task might have scheduled
     * already, but it's stuck on the kthreadd_done completion.
     */
    system_state = SYSTEM_SCHEDULING;


    complete(&kthreadd_done);
    /*
     * The boot idle thread must execute schedule()
     * at least once to get things moving:
     */
    schedule_preempt_disabled();
    /* Call into cpu_idle with preempt disabled */
    cpu_startup_entry(CPUHP_ONLINE);
}

3、總體流程圖如下，下一篇閱讀1號進(jìn)程和2號進(jìn)程