跳到主要內容

淺讀Linux root file system初始化流程


在Unix的世界中，file system佔據一個極重要的抽象化地位。其中，/ 所代表的rootfs更是所有後續新增file system所必須依賴前提條件。以Linux為例，黑客Jserv就曾經詳細說明過initramfs的背後設計考量。本篇文章不再重複背景知識，主要將追蹤rootfs初始化的流程作點整理，免得自己日後忘記。 :-)

file system與特定CPU架構無關，所以我觀察的起點從init/main.c的start_kernel()開始，這是Linux作完基本CPU初始化後首先跳進的C function(我閱讀的版本為3.12)。跟root file system有關的流程羅列如下：

start_kernel()
        -> vfs_caches_init_early()
        -> vfs_caches_init()
                -> mnt_init()
                        -> init_rootfs()
                        -> init_mount_tree()
        -> rest_init()
                -> kernel_thread(kernel_init,...)

其中比較重要的是mnt_int()中的init_rootfs()與init_mout_tree()。init_rootfs()實作如下：

int __init init_rootfs(void)
{
        int err = register_filesystem(&rootfs_fs_type);

         if (err)
                return err;

         if (IS_ENABLED(CONFIG_TMPFS) && !saved_root_name[0] &&
                (!root_fs_names || strstr(root_fs_names, "tmpfs"))) {
                err = shmem_init();
                is_tmpfs = true;
        } else {
                err = init_ramfs_fs();
        }

         if (err)
                unregister_filesystem(&rootfs_fs_type);

         return err;
}

我們可以看到，Linux kernel總是會在開機時先行註冊一個rootfs_fs_tyype作為第一階段的rootfs，這個rootfs要麼是tmpfs，不然就是ramfs，端看tmpfs有無開啟以及使用者是否明白指定boot option去使用tmpfs，否則預設此第一階段就是用ramfs。rootfs_fs_type 變數定義如下：

static struct file_system_type rootfs_fs_type = {
        .name           = "rootfs",
        .mount          = rootfs_mount,
        .kill_sb        = kill_litter_super,
};

接著我們就會看到在init_mount_tree()掛載rootfs時，便是使用"rootfs"去尋找對應的file system：

static void __init init_mount_tree(void)
{
        struct vfsmount *mnt;
        struct mnt_namespace *ns;
        struct path root;
        struct file_system_type *type;

        type = get_fs_type("rootfs");
        if (!type)
                panic("Can't find rootfs type");
        mnt = vfs_kern_mount(type, 0, "rootfs", NULL);
        put_filesystem(type);
        if (IS_ERR(mnt))
                panic("Can't create rootfs");

        ns = create_mnt_ns(mnt);
        if (IS_ERR(ns))
                panic("Can't allocate initial namespace");

        init_task.nsproxy->mnt_ns = ns;
        get_mnt_ns(ns);

        root.mnt = mnt;
        root.dentry = mnt->mnt_root;

        set_fs_pwd(current->fs, &root);
        set_fs_root(current->fs, &root);
}

init_mount_tree()執行完後，rootfs的相關資料結構就已經掛在current上了，但此時該file system尚無任何內容，會在接下去的動作中將rootfs的內容寫入。

從kernel_thread(kernel_init, ...)之後，kernel_init thread中的相關動作為：

kernel_init()
        -> kernel_init_freeable()
                -> do_basic_setup()
                        -> rootfs_initcall
                                -> populate_rootfs()
                                        -> unpack_to_rootfs()
                -> ramdisk_execute_command = "/init"
                -> sys_access( ramdisk_execute_command )
                        -> if sys_access fails, do prepare_namespace()
        -> run_init_process()

 rootfs的內容如何倒進RAM中呢？關鍵處在do_basic_setup()裡，實作如下：

static void __init do_basic_setup(void)
{
        cpuset_init_smp();
        usermodehelper_init();
        shmem_init();
        driver_init();
        init_irq_proc();
        do_ctors();
        usermodehelper_enable();
        do_initcalls();
        random_int_secret_init();
}

其中的do_initcalls()會將註冊進對應init level的所有init functions依序喚起，其中就包含了init/initramfs.c中的populate_rootfs()：

static int __init populate_rootfs(void)
{
        char *err = unpack_to_rootfs(__initramfs_start, __initramfs_size);
        if (err)
                panic(err);     /* Failed to decompress INTERNAL initramfs */
...
        return 0;
}
rootfs_initcall(populate_rootfs);

如果對這種透過ELF的section儲存function pointer的技法不熟悉的話，可以參考這篇文章。

populate_rootfs()中的unpack_to_rootfs()會將initramfs_start開頭，長度為__initramfs_size bytes的rootfs image根據壓縮格式解壓後，將initramfs image（cpio format）的檔案、目錄以及link動態地在rootfs上建立起來。至此，使用者自建的rootfs就在kernel中可見了。接下來的動作就較為單純，主要就是判斷rootfs中是否存在/init，若存在，就會喚起/init，接著控制權就完全交由user space了，若不存在/init，那就會再判斷是否有從boot option傳入要請求kernel直接掛載rootfs，可能是透過NFS或一般的block device的方式去掛載。

從這段流程我們可以發現，Linux的rootfs初始化流程頗為曲折，然而這些流程的分枝往往都是在面對現實需求的不斷加入後，逐漸修繕而來。無論是利用init section作模組化或用intramfs簡化kernel掛載rootfs的實作複雜度，都是本著同樣的精神在不斷地refine。透過閱讀經典程式碼，讓自己在心裡層面感染一點偉大的黑客心靈，也算為煩躁的職場生涯添點樂趣。 :-)
標籤：

留言

張貼留言

這個網誌中的熱門文章

誰在呼叫我？不同的backtrace實作說明好文章

今天下班前一個同事問到：如何在Linux kernel的function中主動印出backtrace以方便除錯？ 寫過kernel module的人都知道，基本上就是用dump_stack()之類的function就可以作到了。但是dump_stack()的功能是如何作到的呢？概念上其實並不難，慣用手法就是先觀察stack在function call時的變化(一般OS或計組教科書都有很好的說明，如果不想翻書，可以參考 這篇 )，然後將對應的return address一層一層找出來後，再將對應的function名稱印出即可(透過執行檔中的section去讀取函式名稱即可，所以要將KALLSYM選項打開)。在userspace的實作可參考Jserv介紹過的 whocallme 或對岸好手實作過的 backtrace() ，都是針對x86架構的很好說明文章。 不過從前面兩篇文章可以知道，只要知道編譯器的calling convention，就可以實作出backtrace，所以是否GCC有提供現成的機制呢？Yes, that is what __builtin_return_address() for!! 可以參考這篇 文章 。該篇文章還提到了其他可以拿來實作功能更齊全的backtrace的 程式庫 ，在了解了運作原理後，用那些東西還蠻方便的。 OK，那Linux kernel是怎麼做的呢？就是用頭兩篇文章的方式啦~ 每個不同的CPU架構各自手工實作一份dump_stack()。 為啥不用GCC的機制？畢竟...嗯，我猜想，除了backtrace以外，開發者還會想看其他register的值，還有一些有的沒的，所以光是GCC提供的介面是很難印出全部所要的資訊，與其用半套GCC的機制，不如全都自己來~ arm的實作 大致上長這樣，可以看到基本上就只是透過迭代fp, lr, pc來完成： 352 void unwind_backtrace (struct pt_regs * regs , struct task_struct *tsk) 353 { 354 struct stackframe frame ; 355 register unsigned long current_sp asm ( "...
13 則留言
閱讀完整內容

中文試譯：Load-time relocation of shared libraries

作者： eliben 原文連結： http://eli.thegreenplace.net/2011/08/25/load-time-relocation-of-shared-libraries/ 共享庫的載入時重定位 這篇文章的目的在解釋現代作業系統如何讓共享庫在載入時的連結動作發生。我們聚焦在32位元的x86 Linux上頭，但相同的原則在其他的作業系統與CPUs上一樣適用。 要注意的是，共享庫有許多不同的名字 - 共享庫（shared libraries）,共享物件（ shared objects）,動態共享物件（ dynamic shared objects (DSOs)）,動態連結庫（ dynamically linked libraries（如果你習慣的是Windows的環境，就知道這是所謂的DLL））。為了一致性，我在整篇文章中會使用"共享庫"這個字眼。 載入可執行檔 如同其他支援虛擬記憶體的作業系統，Linux將可執行檔載入到一個固定的記憶體位址。如果我們檢視任意一個可執行檔的ELF header，我們將可發現一個Entry point的位址： $ readelf -h /usr/bin/uptime ELF Header: Magic: 7f 45 4c 46 01 01 01 00 00 00 00 00 00 00 00 00 Class: ELF32 [...] some header fields Entry point address: 0x8048470 [...] some header fields 這是由linker所放置的，可告訴作業系統要從何處開始執行此執行檔[1]。如果我們用GDB載入程式並觀察0x8048470的位址，我們將可看到.text segment的第一個被執行的指令。 這代表的是，當linker連結可執行檔時，會把全部的內部符號引用的位址都確定下來（function以及data），確定它們的固定的、最終的位址。Linker本身會對自己進行一些relocation[2]，但最終的結果不會有任何的relocation。 講啥啊？注意，我在上段文中特別強...
5 則留言
閱讀完整內容