跳到主要內容

Side Effects of Pipeline


這幾天跟同事在實作 IC 的 ROM code 時遇到一個難纏的問題,後來發現與 ARM 的 pipeline 機制有關係,問題是這樣的,看看以下的程式碼(實際上作了什麼事不重要,主要在流程):

  1. int SDRM_BN_Cmp(SDRM_BIG_NUM *BN_Src1, SDRM_BIG_NUM *BN_Src2)
  2. {
  3. effecda8:       e92d4008        push    {r3, lr}
  4. effecdac:       e1a02000        mov     r2, r0
  5. effecdb0:       e1a0e001        mov     lr, r1
  6.         if (BN_Src1->Length >= BN_Src2->Length) {
  7. effecdb4:       e5903004        ldr     r3, [r0, #4]
  8. effecdb8:       e591c004        ldr     ip, [r1, #4]
  9. effecdbc:       e153000c        cmp     r3, ip
  10. effecdc0:       3a000005        bcc     effecddc <SDRM_BN_Cmp+0x34>
  11.                 return  SDRM_DWD_Cmp(BN_Src1->pData, BN_Src1->Length,
  12. effecdc4:       e590000c        ldr     r0, [r0, #12]
  13. effecdc8:       e1a01003        mov     r1, r3
  14. effecdcc:       e59e200c        ldr     r2, [lr, #12]
  15. effecdd0:       e1a0300c        mov     r3, ip
  16. effecdd4:       ebfffd04        bl      effec1ec <SDRM_DWD_Cmp>
  17. effecdd8:       e8bd8008        pop     {r3, pc}
  18.                                                          BN_Src2->pData, BN_Src2->Length);
  19.         }
  20.         else {
  21.                 return -SDRM_DWD_Cmp(BN_Src2->pData, BN_Src2->Length,
  22. effecddc:       e591000c        ldr     r0, [r1, #12]
  23. effecde0:       e1a0100c        mov     r1, ip
  24. effecde4:       e592200c        ldr     r2, [r2, #12]
  25. effecde8:       ebfffcff        bl      effec1ec <SDRM_DWD_Cmp>
  26. effecdec:       e2600000        rsb     r0, r0, #0
  27.                                                          BN_Src1->pData, BN_Src1->Length);
  28.         }
  29. }
一步一步單步執行都沒有什麼問題,但是一旦讓其 free run ,就會在我們的執行環境中將系統打掛,連 ICE 都連不上。進行了非常多的實驗,但總是非常隨機地死在不同情況。

後來請 IC designer 將 CPU 的行為以 RTL level 模擬,總算了解問題根源:ARM 的 pipeline 機制非常積極,即使在軟體流程上,0xeffecdd8 與 0xeffecddc 是屬於不同的 branch,但是當 CPU 執行到上述的 0xeffecdd8 時,0xeffecddc 的指令會在 r1 所指到的位址為 normal memory 時,發出 read transaction 到 bus 上,然而,r1 有可能在第一個 branch 中的函式中被修改。

上述行為在一般情況下不會有問題,因為這兩條 branch 必定只有一條會被執行,若走第一條 branch,而觸發 CPU 為 0xeffecddc 發出 read transaction,其實並不會修改任何 programmer-visible registers,並且會在發現不需要該筆 data 後,將其 flush 出 pipeline。另一方面,若跑下半部 branch 時,就不可能會修改到 r1 原本的值,於是 0xeffecddc 可讀到記憶體中正確的值。

但是好死不死,設定 MMU 的同事,為了貪圖方便,將我們程式所要執行的 normal memory 範圍用簡單的方式對映了 1MB,而實際上的 normal memory 只有 64KB 是有效的,若發出多餘 64KB 的位址,便會將我們的 CPU 咬死。針對這個問題,有兩種解法:
  1. 若發出無效的位址,硬體可獲得一個 garbage value,這樣就不會在 CPU 作無謂的 pipeline 動作時,打掛系統。
  2. 改寫 MMU 設定,將 normal memory 限定在 64KB,CPU 便不會在 r1 的值為非 normal memory 範圍時進行積極的 pipeline。
由於硬體修改曠日費時,所以我們...嗯,當然是選擇方法二嘍... 在工作中踩到 pipeline 的坑,還是第一次... :P

留言

這個網誌中的熱門文章

誰在呼叫我?不同的backtrace實作說明好文章

今天下班前一個同事問到:如何在Linux kernel的function中主動印出backtrace以方便除錯? 寫過kernel module的人都知道,基本上就是用dump_stack()之類的function就可以作到了。但是dump_stack()的功能是如何作到的呢?概念上其實並不難,慣用手法就是先觀察stack在function call時的變化(一般OS或計組教科書都有很好的說明,如果不想翻書,可以參考 這篇 ),然後將對應的return address一層一層找出來後,再將對應的function名稱印出即可(透過執行檔中的section去讀取函式名稱即可,所以要將KALLSYM選項打開)。在userspace的實作可參考Jserv介紹過的 whocallme 或對岸好手實作過的 backtrace() ,都是針對x86架構的很好說明文章。 不過從前面兩篇文章可以知道,只要知道編譯器的calling convention,就可以實作出backtrace,所以是否GCC有提供現成的機制呢?Yes, that is what __builtin_return_address() for!! 可以參考這篇 文章 。該篇文章還提到了其他可以拿來實作功能更齊全的backtrace的 程式庫 ,在了解了運作原理後,用那些東西還蠻方便的。 OK,那Linux kernel是怎麼做的呢?就是用頭兩篇文章的方式啦~ 每個不同的CPU架構各自手工實作一份dump_stack()。 為啥不用GCC的機制?畢竟...嗯,我猜想,除了backtrace以外,開發者還會想看其他register的值,還有一些有的沒的,所以光是GCC提供的介面是很難印出全部所要的資訊,與其用半套GCC的機制,不如全都自己來~ arm的實作 大致上長這樣,可以看到基本上就只是透過迭代fp, lr, pc來完成: 352 void unwind_backtrace (struct pt_regs * regs , struct task_struct *tsk) 353 { 354 struct stackframe frame ; 355 register unsigned long current_sp asm ( "

淺讀Linux root file system初始化流程

在Unix的世界中,file system佔據一個極重要的抽象化地位。其中,/ 所代表的rootfs更是所有後續新增file system所必須依賴前提條件。以Linux為例,黑客 Jserv 就曾經詳細說明過 initramfs的背後設計考量 。本篇文章不再重複背景知識,主要將追蹤rootfs初始化的流程作點整理,免得自己日後忘記。 :-) file system與特定CPU架構無關,所以我觀察的起點從init/main.c的start_kernel()開始,這是Linux作完基本CPU初始化後首先跳進的C function(我閱讀的版本為 3.12 )。跟root file system有關的流程羅列如下: start_kernel()         -> vfs_caches_init_early()         -> vfs_caches_init()                 -> mnt_init()                         -> init_rootfs()                         -> init_mount_tree()         -> rest_init()                 -> kernel_thread(kernel_init,...) 其中比較重要的是mnt_int()中的init_rootfs()與init_mout_tree()。init_rootfs()實作如下: int __init init_rootfs(void) {         int err = register_filesystem(&rootfs_fs_type);         if (err)                 return err;         if (IS_ENABLED(CONFIG_TMPFS) && !saved_root_name[0] &&                 (!root_fs_names || strstr(root_fs_names, "tmpfs"))) {          

kernel panic之後怎麼辦?

今天同事在處理一個陌生的模組時遇到kernel panic,Linux印出了backtrace,同事大致上可以知道是在哪個function中,但該function的長度頗長,短時間無法定位在哪個位置,在這種情況下,要如何收斂除錯範圍呢?更糟的是,由於加入printk會改變模組行為,所以printk基本上無法拿來檢查參數的值是否正常。 一般這樣的問題會backtrace的資訊來著手。從這個資訊我們可以知道在function中的多少offset發生錯誤,以x86為例(從 LDD3 借來的例子): Unable to handle kernel NULL pointer dereference at virtual address 00000000 printing eip: d083a064 Oops: 0002 [#1] SMP CPU:    0 EIP:    0060:[<d083a064>]    Not tainted EFLAGS: 00010246   (2.6.6) EIP is at faulty_write+0x4/0x10 [faulty] eax: 00000000   ebx: 00000000   ecx: 00000000   edx: 00000000 esi: cf8b2460   edi: cf8b2480   ebp: 00000005   esp: c31c5f74 ds: 007b   es: 007b   ss: 0068 Process bash (pid: 2086, threadinfo=c31c4000 task=cfa0a6c0) Stack: c0150558 cf8b2460 080e9408 00000005 cf8b2480 00000000 cf8b2460 cf8b2460        fffffff7 080e9408 c31c4000 c0150682 cf8b2460 080e9408 00000005 cf8b2480        00000000 00000001 00000005 c0103f8f 00000001 080e9408 00000005 00000005 Call Trace:  [<c0150558>] vfs