跳到主要內容

淺讀CuRT:啟動流程

Jserv所寫的CuRT是一個非常輕量級的kernel,運行於ARMv5(PXA255)。很適合拿來作為熟習ARM基本架構與實驗作業系統的各項技術。今天下載後,發現在我的環境(ubuntu12.04)需要作點修改才能通過編譯並正常執行,改完索性clone了一份上github,以利之後實驗修改。這篇文章則是為研讀此kernel所作的一系列紀錄的開頭。

千頭萬緒,從何開始呢?ARM規範其CPU reset後從0x0的位址開始執行,從PXA255的手冊上可知,初始的0x0落於boot ROM的範圍:

但是觀察編譯出來的curt_image.elf可以發現,其link address都以0xa0000000為base,這段位址落於SDRAM的範圍:

由於SDRAM必須要有controller控制時序,所以應該會先由boot ROM將其設定好後再搬過去執行。以上幾件事要能夠運行成功,那麼就勢必在初始時要有一段PIC的程式作relocation(或以某種方式remap address range),等等我們便可發現確實存在這樣的一段代碼。

觀察curt_image.elf的disassembly可知道,_start是.text的起頭,此符號定義於arch/arm/mach-pxa/start.S,所以我們就從這個檔案開始看起吧。:-)

 .text
 /* exception handler vector table */
_start: 
 b reset_handler
 b und_handler
 b swi_handler
 b abt_pref_handler
 b abt_data_handler
 b not_used
 b irq_handler
 b fiq_handler

這邊是典型的reset vector的部份,由於除了reset_handler以外的其他mode我目前還不感興趣,所以就直接跳到reset_handler繼續看:

reset_handler:
 b set_misc set_misc:
...
mask_off_int_reg: /* Mask off all IRQs and FIQs */
...
init_clock_reg: /* PXA250 Clock Register initialization */
...
set_core_clock: /* PXA250 Core Clock is set to Turbo Mode */
...
set_os_timer: /* OS Timer initialization */
...
init_gpio:
...
set_stack_pointer:
...

set_misc的部份對ARM的系統屬性做了初步設定:
  • 允許使用全部coprocessor
  • 將MMU, cache, write buffer關閉
  • 清除TLB、cache、write buffer
mask_off_int_reg則先將所有中斷mask起來。init_clock_reg, set_core_clock, set_os_timer則是設定與system timer有關的參數,晚點再回來細看無妨。init_gpio則將IC的腳位設到所需的function,由於我的目標在kernel本身,所以device的設定也可以晚點再看。init_mem_ctrl則是開始對SDRAM作設定,此部份作完後,CPU就可以開始透過各種load/store指令去存取0xa0000000起頭的範圍了。

比較特別的是set_stack_pointer,由於ARM獨特的banked register機制,所以需要針對每個mode設定其stack poniter,此處透過設定cpsr的mode bit切換mode,然後給予sp初始值,這些值則是訂於此檔案的最前頭,以gas的psudo instruction - .comm去定義。我們可以透過objdump觀察到:以.comm定義的symbol會在.bss section進行配置:
但此處似乎是CuRT的一個bug?因為後續的loader沒有針對.bss作擴展與設0的動作...較直覺的作法應是直接配在.data section。Anyway,接下來就可以開始準備將boot ROM的image搬到SDRAM上了(印證一開始的猜測):

 /*
  * trampoline - jump to C function main().
  */
.align 4
relocate:
 adr r0, _start

 // relocate the second stage loader
 add r2, r0, #(1024 * 1024)
 ldr r1, =0xa0000000

 /* r0 = source address
  * r1 = target address
  * r2 = source end address
  */
copy_loop:
 ldmia   r0!, {r3-r10}
 stmia   r1!, {r3-r10}
 cmp     r0, r2

 ble     copy_loop

此處並沒有設計任何image header,所以直接假設搬1MB是足夠的,一般正規的loader應該都會加個header標示要載入的位址與長度。但既然這是教學用的kernel,能省code則省code嘍~接著,就是歷史性的一刻了,既然stack都已經設定完畢,表示我們可以開始使用C語言來寫code了!!偉哉C語言!!要運行它,就是這麼的簡單:
jump_to_main:
 bl main
好了,此篇文章只是暖暖身,讓硬體動起來而已,下一篇文章就會開始看kernel真正作了哪些有趣的事情。:-)

留言

這個網誌中的熱門文章

淺讀Linux root file system初始化流程

在Unix的世界中,file system佔據一個極重要的抽象化地位。其中,/ 所代表的rootfs更是所有後續新增file system所必須依賴前提條件。以Linux為例,黑客 Jserv 就曾經詳細說明過 initramfs的背後設計考量 。本篇文章不再重複背景知識,主要將追蹤rootfs初始化的流程作點整理,免得自己日後忘記。 :-) file system與特定CPU架構無關,所以我觀察的起點從init/main.c的start_kernel()開始,這是Linux作完基本CPU初始化後首先跳進的C function(我閱讀的版本為 3.12 )。跟root file system有關的流程羅列如下: start_kernel()         -> vfs_caches_init_early()         -> vfs_caches_init()                 -> mnt_init()                         -> init_rootfs()                         -> init_mount_tree()         -> rest_init()                 -> kernel_thread(kernel_init,...) 其中比較重要的是mnt_int()中的init_rootfs()與init_mout_tree()。init_rootfs()實作如下: int __init init_rootfs(void) {         int err = register_filesystem(&rootfs_fs_type);         if (err)                 return err;         if (IS_ENABLED(CONFIG_TMPFS) && !saved_root_name[0] &&                 (!root_fs_names || strstr(root_fs_names, "tmpfs"))) {          

誰在呼叫我?不同的backtrace實作說明好文章

今天下班前一個同事問到:如何在Linux kernel的function中主動印出backtrace以方便除錯? 寫過kernel module的人都知道,基本上就是用dump_stack()之類的function就可以作到了。但是dump_stack()的功能是如何作到的呢?概念上其實並不難,慣用手法就是先觀察stack在function call時的變化(一般OS或計組教科書都有很好的說明,如果不想翻書,可以參考 這篇 ),然後將對應的return address一層一層找出來後,再將對應的function名稱印出即可(透過執行檔中的section去讀取函式名稱即可,所以要將KALLSYM選項打開)。在userspace的實作可參考Jserv介紹過的 whocallme 或對岸好手實作過的 backtrace() ,都是針對x86架構的很好說明文章。 不過從前面兩篇文章可以知道,只要知道編譯器的calling convention,就可以實作出backtrace,所以是否GCC有提供現成的機制呢?Yes, that is what __builtin_return_address() for!! 可以參考這篇 文章 。該篇文章還提到了其他可以拿來實作功能更齊全的backtrace的 程式庫 ,在了解了運作原理後,用那些東西還蠻方便的。 OK,那Linux kernel是怎麼做的呢?就是用頭兩篇文章的方式啦~ 每個不同的CPU架構各自手工實作一份dump_stack()。 為啥不用GCC的機制?畢竟...嗯,我猜想,除了backtrace以外,開發者還會想看其他register的值,還有一些有的沒的,所以光是GCC提供的介面是很難印出全部所要的資訊,與其用半套GCC的機制,不如全都自己來~ arm的實作 大致上長這樣,可以看到基本上就只是透過迭代fp, lr, pc來完成: 352 void unwind_backtrace (struct pt_regs * regs , struct task_struct *tsk) 353 { 354 struct stackframe frame ; 355 register unsigned long current_sp asm ( "

kernel panic之後怎麼辦?

今天同事在處理一個陌生的模組時遇到kernel panic,Linux印出了backtrace,同事大致上可以知道是在哪個function中,但該function的長度頗長,短時間無法定位在哪個位置,在這種情況下,要如何收斂除錯範圍呢?更糟的是,由於加入printk會改變模組行為,所以printk基本上無法拿來檢查參數的值是否正常。 一般這樣的問題會backtrace的資訊來著手。從這個資訊我們可以知道在function中的多少offset發生錯誤,以x86為例(從 LDD3 借來的例子): Unable to handle kernel NULL pointer dereference at virtual address 00000000 printing eip: d083a064 Oops: 0002 [#1] SMP CPU:    0 EIP:    0060:[<d083a064>]    Not tainted EFLAGS: 00010246   (2.6.6) EIP is at faulty_write+0x4/0x10 [faulty] eax: 00000000   ebx: 00000000   ecx: 00000000   edx: 00000000 esi: cf8b2460   edi: cf8b2480   ebp: 00000005   esp: c31c5f74 ds: 007b   es: 007b   ss: 0068 Process bash (pid: 2086, threadinfo=c31c4000 task=cfa0a6c0) Stack: c0150558 cf8b2460 080e9408 00000005 cf8b2480 00000000 cf8b2460 cf8b2460        fffffff7 080e9408 c31c4000 c0150682 cf8b2460 080e9408 00000005 cf8b2480        00000000 00000001 00000005 c0103f8f 00000001 080e9408 00000005 00000005 Call Trace:  [<c0150558>] vfs