跳到主要內容

Memory Barrier in Lock API


由於現今 CPU 與編譯器俱備各種強大的最佳化機制(speculative execution, ALU/LSU pipelines, cache...)，使得程式在執行時，並不像程式設計師在 source code level 看到那樣地循序執行。一般情況下，這不會有問題，因為 CPU 通常只會對"獨立的"指令進行重排，但是當我們是在 multi-core 的情況下，就不是這麼顯而易見了。

今天想談一個 memory barrier 的典型應用，當作是...嗯，為研讀 CPU spec 作點整理。

考慮一個情況，現在我們要設計一組 lock/unlock 的 sync API，作為 multithread 的資源同步機制。在沒有 pthread 或其他 OS system call 可用的情況下，我們要如何實現呢？

底下是一個簡單的作法：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

struct L {
        volatile atomic_t flag;
};

void lock_init(struct *L)
{
        L->flag = 0;
}

void lock(struct *L)
{
        while (1) {
                // if L->flag == 1, atomic_test_and_set does nothing and return 0
                // else set it to 1 and return 1
                if (atomic_test_and_set(L->flag, 1)) {
                        break;
                }
        }
}

void unlock(struct *L)
{
        atomic_set(L->flag, 0);
}

void task0(void)
{
        while (1) {
                lock(&list_lock);
                do_somthing(&shared_list);
                unlock(&list_lock);
        }
}

void task1(void)
{
        while (1) {
                lock(&list_lock);
                do_other(&shared_list);
                unlock(&list_lock);
        }
}

這邊假設 L->flag 的設值與讀取都是 atomic ，並且也以 volatile 修飾，所以不用擔心編譯器的最佳化造成讀到暫存器中的值。乍看之下，似乎達成了我們的基本需求，但是這樣的實作很可能會不定時發生錯誤。

正常流程如下：
  1. 由 task0 拿到 lock 
  2. task0 開始對 shared_list 作更動
  3. 作完更動後，task0 呼叫 unlock 
  4. task1 發現 lock 可獲得，抓到lock
  5. 對修改後的 shared_list 作修改
但是若 CPU 俱備 out-of-order execution 的能力，很有機會變成：
  1. 由 task0 拿到 lock 
  2. task0 開始對 shared_list 作更動
  3. 作完更動後，task0 呼叫 unlock 
  4. step 3中，task0 對 shared_list 的更動尚未生效
  5. task1 發現 lock 可獲得，抓到lock
  6. 對修改到一半的 shared_list 作修改
  7. 錯誤，或 crash...programmer debug 一個禮拜還找不出原因...-_-
這就是 memory barrier 登場的時候了。memory barrier 依據 CPU 有不同特性與分類，但一般可以想成，在 barrier 之前的CPU 指令會保證比 barrier 之後的指令先完成。所以我們只要在 lock/unlock 前後增加 memory barrier 指令，便可保證對 resource 的修改會先於 flag 或 flag 的修改會早於讀寫 resource。如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

void lock(struct *L)
{
        while (1) {
                // if L->flag == 1, atomic_test_and_set does nothong and return 0
                // else set it to 1 and return 1
                if (atomic_test_and_set(L->flag, 1)) {
                        memory_barrier(); //require before access to protected resource
                        break;
                }
        }
}

void unlock(struct *L)
{
        memory_barrier(); // make sure access to protected resource have completed
        atomic_set(L->flag, 0);
        memory_barrier(); // make sure update L->flag before wake up other task
}

是不是覺得很麻煩呢？嗯，第一次看到需要使用 memory barrier 時，也是覺得非常違反直覺，好像是為了讓 CPU 滿意，所以要額外增加給 CPU 的指示，不然就會與原本邏輯不同...但是為了善用各種強大的 CPU 最佳化機制，我們只好時時注意可能的抽象洩漏啦~幸運的是，r絕大部份需要用到 memory barrier 的地方，OS 或 library 都幫我們作掉了(cache 操作、sync API、MMU、interrupt)。但是如果你是負責這個部份的移植，或是要實作類似的機制(自訂的同步機制)...嗯，那就...大家共勉之～ :-)
標籤：

留言

張貼留言

這個網誌中的熱門文章

淺讀Linux root file system初始化流程

在Unix的世界中，file system佔據一個極重要的抽象化地位。其中，/ 所代表的rootfs更是所有後續新增file system所必須依賴前提條件。以Linux為例，黑客 Jserv 就曾經詳細說明過 initramfs的背後設計考量 。本篇文章不再重複背景知識，主要將追蹤rootfs初始化的流程作點整理，免得自己日後忘記。 :-) file system與特定CPU架構無關，所以我觀察的起點從init/main.c的start_kernel()開始，這是Linux作完基本CPU初始化後首先跳進的C function(我閱讀的版本為 3.12 )。跟root file system有關的流程羅列如下： start_kernel()         -> vfs_caches_init_early()         -> vfs_caches_init()                 -> mnt_init()                         -> init_rootfs()                         -> init_mount_tree()         -> rest_init()                 -> kernel_thread(kernel_init,...) 其中比較重要的是mnt_int()中的init_rootfs()與init_mout_tree()。init_rootfs()實作如下： int __init init_root...
張貼留言
閱讀完整內容

誰在呼叫我？不同的backtrace實作說明好文章

今天下班前一個同事問到：如何在Linux kernel的function中主動印出backtrace以方便除錯？ 寫過kernel module的人都知道，基本上就是用dump_stack()之類的function就可以作到了。但是dump_stack()的功能是如何作到的呢？概念上其實並不難，慣用手法就是先觀察stack在function call時的變化(一般OS或計組教科書都有很好的說明，如果不想翻書，可以參考 這篇 )，然後將對應的return address一層一層找出來後，再將對應的function名稱印出即可(透過執行檔中的section去讀取函式名稱即可，所以要將KALLSYM選項打開)。在userspace的實作可參考Jserv介紹過的 whocallme 或對岸好手實作過的 backtrace() ，都是針對x86架構的很好說明文章。 不過從前面兩篇文章可以知道，只要知道編譯器的calling convention，就可以實作出backtrace，所以是否GCC有提供現成的機制呢？Yes, that is what __builtin_return_address() for!! 可以參考這篇 文章 。該篇文章還提到了其他可以拿來實作功能更齊全的backtrace的 程式庫 ，在了解了運作原理後，用那些東西還蠻方便的。 OK，那Linux kernel是怎麼做的呢？就是用頭兩篇文章的方式啦~ 每個不同的CPU架構各自手工實作一份dump_stack()。 為啥不用GCC的機制？畢竟...嗯，我猜想，除了backtrace以外，開發者還會想看其他register的值，還有一些有的沒的，所以光是GCC提供的介面是很難印出全部所要的資訊，與其用半套GCC的機制，不如全都自己來~ arm的實作 大致上長這樣，可以看到基本上就只是透過迭代fp, lr, pc來完成： 352 void unwind_backtrace (struct pt_regs * regs , struct task_struct *tsk) 353 { 354 struct stackframe frame ; 355 register unsigned long current_sp asm ( "...
13 則留言
閱讀完整內容

中文試譯：Writing a game in Python with Pygame. Part I

原文作者： Eli Bendersky 原文連結： http://eli.thegreenplace.net/2008/12/13/writing-a-game-in-python-with-pygame-part-i/ 簡介 遊戲是最能應用程式設計技巧的領域之一。為了寫出最簡單的遊戲，你必須跟圖像、數學、物理甚至是人工智慧打交道。寫遊戲非常酷，而且也是練習程式設計的有趣方式。 如果你是Python的粉絲（就算你不是也無妨），並且對遊戲有興趣，那麼 Pygame 就是很屌的遊戲程式設計庫，你一定要注意它。它可以在所有主要的平台執行，並提供簡單的工具去管理複雜的、充滿變動與音效的世界。 在網路上有很多Pygame的教學，但大都太過簡單了。甚至是 Pygame book 都停留在入門的程度。為了達到更高的水準，我決定自己寫一套教學文件，希望可以為那些使用Pygame的朋友提供進階的學習。 這份教學鼓勵讀者去把玩程式碼，也非常建議對最後的練習題作些功課。這樣作可以讓你對這些教學有更好的瞭解。 預備知識 因為我在前面提過的理由，這份教學並不是給完全的初學者閱讀的。如果你才開始接觸 Pygame，先到這個 網頁 裡看一些基本的教學。這份 教學 也很適合初學Pygame。 在這篇文章，我假設你有下列知識：     >>Python(你不必是進階使用者，但也不能是完全的菜鳥)     >>基本的數學與物理（向量、矩形、運動定律、機率等等）。我會解釋所有不那麼明顯的部份，但我不會教你如何對向量作加法。     >>對Pygame有一些瞭解。你至少必須有瀏覽過在上面提到的教學裡的例子。 喔，還有一件事...這份教學主要考慮2D遊戲。3D有著另一層的困難度，我以後會提出一個自行開發一部份、簡單、不過足夠完整的3D demo。 我們開始吧！ 在這個部份，我們最後會完成一個模擬 - 有著在地上爬的小生物，會蠕動，然後碰到牆壁也會反彈，並偶而改變它們的行進方向： 這當然不是一個遊戲，不過卻是一個很有用的開頭，讓我們可以實作不同的想法。我延遲給出這個遊戲最終會變成的模樣，當作給我自己的奢侈享受。 程式碼 part 1的完整程式碼...
張貼留言
閱讀完整內容