跳到主要內容

觀察不同的loop實作 - C版本

loop是每個程式設計師每天都會寫上好幾遍的program construct(好吧,Lisp programmer是例外 :P),loop也是structured programming的基本要素之一,現今的計算機都是遵循著von Neumann架構,所以使用loop是相當地貼近機器、有效率。有趣的是,每個程式語言都往往有數種不同的loop方式,並且不同的程式語言對於loop的設計也往往不同,這篇文章以C語言的幾種loop方式作為討論對象,希望促使自己思考不同的loop實作背後的考量。有機會再針對C++/Python/Lisp等語言作討論。

首先,先來看看C語言中最基本常用的loop - for loop:

  1. #include <stdio.h>
  2. void foo(void)
  3. {
  4.     printf("do something\n");
  5. }
  6. int main(void)
  7. {
  8.     int i = 0;
  9.     for (= 0; i < 10 ; ++i) {
  10.         foo();
  11.     }  
  12. }  
C語言或許是高階語言中最接近von Neumann架構的一種,所以其內建的for loop機制幾乎只是薄薄的一層機器指令的包裝,在接近機器層面的程式碼,這樣的作法幾乎可以肯定帶來最高效的對應。現在我們來想想一個問題:如何找出一個陣列中的最大值?很簡單,程式碼大概會像這樣:

  1. #include <stdio.h>
  2. int main(void)
  3. {  
  4.     int i = 0;
  5.     int max = 0;
  6.     int arr[] = {8, -9, 10, 11, 99, 100, 23};
  7.     max = arr[0];
  8.     for (= 1; i < sizeof(arr)/sizeof(arr[0]) ; ++i) {
  9.         if (max < arr[i]) { max = arr[i]; }
  10.     }
  11.     printf("max = %d\n", max);
  12. }
問這麼簡單的問題作什麼呢?別急,現在再來解一個問題:如何將每一個陣列中的元素都加上2?又是簡單的問題,程式碼瞬間就可以寫好:

  1. int main(void)
  2. {  
  3.     int i = 0;
  4.     int arr[] = {8, -9, 10, 11, 99, 100, 23};
  5.     for (= 0; i < sizeof(arr)/sizeof(arr[0]) ; ++i) {
  6.         arr[i] += 2;
  7.     }
  8. }
你或許開始不耐煩了,簡單的問題居然問了兩題?太無聊了吧?嘿,很多學問就是從一般人習以為常、無法察覺的小細節開始的。讓我們開始觀察這兩個簡單的問題的"共同"與"相異"的地方吧。共同的地方在於:它們都有類似的流程結構:

for each element in some container:
    do something with the element

但是C語言內建的for loop卻沒有提供some container與do something with the element的概念,所以一旦這兩個東西發生了變化,程式設計師就必須再手工寫一遍for loop。所以問題轉變為:要如何提供一個機制,讓程式設計師即使改變了資料結構或對每一個結構中的元素的處理方式時,仍能保持for loop不需更改?


讓我們先從簡單的開始:當元素都只在陣列中,但對元素的處理方式不同,要如何不改變for loop呢?在C語言中,慣用的手法有兩種,第一種是透過callback function:

  1. #include <stdio.h>
  2. typedef void (*callback)(void *e, void *priv);
  3. void for_each(void *arr, int e_size, int arr_size, callback do_something, void *priv)
  4. {
  5.     int i = 0;
  6.     char *arr_imp = arr;
  7.     for (;< arr_size; ++i) {
  8.         do_something((arr_imp + (e_size*i)), priv);
  9.     }  
  10. }
  11. void swap_max(void *e, void *priv)
  12. {  
  13.     int *max = priv;
  14.     int *ele = e;
  15.     if (*max < *ele) { *max = *ele; }
  16. }
  17. void plus_two(void *e, void *priv)
  18. {  
  19.     *(int *)+= 2;
  20. }
  21. void print(void *e, void *priv)
  22. {  
  23.     printf("%d ", *(int *)e);
  24. }
  25. int main(void)
  26. {  
  27.     int arr[] = {8, -9, 10, 11, 99, 100, 23};
  28.     int max = 0;
  29.     // find max
  30.     max = arr[0];
  31.     for_each(arr, sizeof(arr[0]), sizeof(arr)/sizeof(arr[0]), swap_max, &max);
  32.     printf("max = %d\n", max);
  33.     // plus 2 to every element
  34.     for_each(arr, sizeof(arr[0]), sizeof(arr)/sizeof(arr[0]), print, NULL);
  35.     printf("\n");
  36.     for_each(arr, sizeof(arr[0]), sizeof(arr)/sizeof(arr[0]), plus_two, NULL);
  37.     for_each(arr, sizeof(arr[0]), sizeof(arr)/sizeof(arr[0]), print, NULL);
  38.     printf("\n");
  39. }
注意到for_each的宣告與實作是完全"只依賴於元素是位於陣列中"這個事實,接著會迭代依次對每個陣列元素do_something,而do_something是易變化的部份,所以交由使用者自行定義,do_something運作時要怎樣才能正常呢?觀察之前提到的兩個問題:為每個元素加上2,只需知道目前元素的值就好;但是找最大值則需知道目前元素的值與目前最大值才行,所以我們多加了一個priv的欄位,callback介面便成為:

typedef void (*callback)(void *e, void *priv);


void *e參數是for_each給callback的,而void *priv則是使用者自己的資訊,可以在for_each運行時改變狀態以進行不同判斷。這種設計方式給了我們設計介面時的一個方向:將不變的抽取出來,將會易變的提供出介面供外部使用者修改。如果這件事可以確實作的好,自然就會符合所謂的模組化設計。著名軟體開發先驅Jim Coplien在其博士論文中花了很大篇幅介紹如何進行"共通性/相異性"的分析與設計,是很好的參考資料。

(練習題:如果想要將"元素是位於陣列中"這個假設從for_each去除,需要如何修改for_each的實作?提示:引入iterator以隔離資料結構與演算法")

第二種抽象化loop的手法則是透過macro。手法如下:

  1. #include <stdio.h>
  2. #define for_each(cur, arr, size) cur = &arr[0]; for (int i = 0; i < size ; ++i, cur = &arr[i])
  3. int main(void)
  4. {
  5.     int arr[] = {8, -9, 10, 11, 99, 100, 23};
  6.     int *cur = NULL;
  7.     int max = 0;
  8.     // find max
  9.     max = arr[0];
  10.     for_each(cur, arr, sizeof(arr)/sizeof(arr[0])) {
  11.         if (max < *cur) { max = *cur; }
  12.     }  
  13.     printf("max = %d\n", max);
  14.     // plus two to every element
  15.     for_each(cur, arr, sizeof(arr)/sizeof(arr[0])) {
  16.         printf("%d ", *cur);
  17.     }  
  18.     printf("\n");
  19.     for_each(cur, arr, sizeof(arr)/sizeof(arr[0])) {
  20.         *cur += 2;
  21.     }  
  22.     for_each(cur, arr, sizeof(arr)/sizeof(arr[0])) {
  23.         printf("%d ", *cur);
  24.     }  
  25.     printf("\n");
  26. }
使用macro的好處是可以避免callback function所帶來的額外開銷,所以這種手法在Linux kernel中隨處可見,幾乎Linux kernel中的每個資料結構都有一份for_each,但callback function的方式可以有更多其他好處:

1. 可以放在.c中。我們這邊處理的是for loop的化簡,但如果你要提供的API是不想公開內部實作的話,放在.c中,然後開出可改變的部份給使用者定義,才是比較好的選擇。
2. 可以避免複雜的macro實作。這邊只實作了for loop,但其實該macro實作是有一些問題的(練習題:什麼情況下會有問題?),而更複雜的API如果用macro實作,在除錯上會較為不易,畢竟大部份的debugger都無法觀察preprocess時的錯誤。
3. macro會使得程式碼膨脹。一旦程式碼膨脹,造成cache miss增加,很可能將callback的開銷打平,並且如果產品是用在小型的嵌入式系統,大量的macro很可能造成需要更大的flash size,增加...嗯,製造成本。

為了讓for loop可以變得通用,所以需要付出一點代價,這個代價不只出現在代碼的效能損失,也出現在觀察共通概念與流程的時間,也出現在使用何種手法抽取出共通程式碼的設計上(當然,這個例子對絕大多數的程式設計師都微乎其微,而且可以藉由學習以縮短分析與設計時間),這些代價在開發時是否值得?端看情況而定。尤其當愈複雜的概念與流程要變得通用時,付出的代價會更高(試試看讓binary search tree的操作通用化),所以這時越要思考是否划算。概念或程式碼有所重複不總是罪惡,有時僅僅是工程上的設計選擇(不過我們要先知道有哪些選擇,對吧?)。

當然啦,很多時候我們都是在開發了一段時間後,發現了一些共同的流程、概念,然後才進行整理,而無法在事前預知。雖然loop的抽象化手法在coding上是很簡單的一件事情,但唯有當我們了解不同的手法的優缺點後,面對我們自身更複雜的應用時才有可能作出有把握的選擇。Keep walking!!

留言

這個網誌中的熱門文章

淺讀Linux root file system初始化流程

在Unix的世界中,file system佔據一個極重要的抽象化地位。其中,/ 所代表的rootfs更是所有後續新增file system所必須依賴前提條件。以Linux為例,黑客 Jserv 就曾經詳細說明過 initramfs的背後設計考量 。本篇文章不再重複背景知識,主要將追蹤rootfs初始化的流程作點整理,免得自己日後忘記。 :-) file system與特定CPU架構無關,所以我觀察的起點從init/main.c的start_kernel()開始,這是Linux作完基本CPU初始化後首先跳進的C function(我閱讀的版本為 3.12 )。跟root file system有關的流程羅列如下: start_kernel()         -> vfs_caches_init_early()         -> vfs_caches_init()                 -> mnt_init()                         -> init_rootfs()                         -> init_mount_tree()         -> rest_init()                 -> kernel_thread(kernel_init,...) 其中比較重要的是mnt_int()中的init_rootfs()與init_mout_tree()。init_rootfs()實作如下: int __init init_root...

誰在呼叫我?不同的backtrace實作說明好文章

今天下班前一個同事問到:如何在Linux kernel的function中主動印出backtrace以方便除錯? 寫過kernel module的人都知道,基本上就是用dump_stack()之類的function就可以作到了。但是dump_stack()的功能是如何作到的呢?概念上其實並不難,慣用手法就是先觀察stack在function call時的變化(一般OS或計組教科書都有很好的說明,如果不想翻書,可以參考 這篇 ),然後將對應的return address一層一層找出來後,再將對應的function名稱印出即可(透過執行檔中的section去讀取函式名稱即可,所以要將KALLSYM選項打開)。在userspace的實作可參考Jserv介紹過的 whocallme 或對岸好手實作過的 backtrace() ,都是針對x86架構的很好說明文章。 不過從前面兩篇文章可以知道,只要知道編譯器的calling convention,就可以實作出backtrace,所以是否GCC有提供現成的機制呢?Yes, that is what __builtin_return_address() for!! 可以參考這篇 文章 。該篇文章還提到了其他可以拿來實作功能更齊全的backtrace的 程式庫 ,在了解了運作原理後,用那些東西還蠻方便的。 OK,那Linux kernel是怎麼做的呢?就是用頭兩篇文章的方式啦~ 每個不同的CPU架構各自手工實作一份dump_stack()。 為啥不用GCC的機制?畢竟...嗯,我猜想,除了backtrace以外,開發者還會想看其他register的值,還有一些有的沒的,所以光是GCC提供的介面是很難印出全部所要的資訊,與其用半套GCC的機制,不如全都自己來~ arm的實作 大致上長這樣,可以看到基本上就只是透過迭代fp, lr, pc來完成: 352 void unwind_backtrace (struct pt_regs * regs , struct task_struct *tsk) 353 { 354 struct stackframe frame ; 355 register unsigned long current_sp asm ( "...

中文試譯:Writing a game in Python with Pygame. Part I

原文作者: Eli Bendersky 原文連結: http://eli.thegreenplace.net/2008/12/13/writing-a-game-in-python-with-pygame-part-i/ 簡介 遊戲是最能應用程式設計技巧的領域之一。為了寫出最簡單的遊戲,你必須跟圖像、數學、物理甚至是人工智慧打交道。寫遊戲非常酷,而且也是練習程式設計的有趣方式。 如果你是Python的粉絲(就算你不是也無妨),並且對遊戲有興趣,那麼 Pygame 就是很屌的遊戲程式設計庫,你一定要注意它。它可以在所有主要的平台執行,並提供簡單的工具去管理複雜的、充滿變動與音效的世界。 在網路上有很多Pygame的教學,但大都太過簡單了。甚至是 Pygame book 都停留在入門的程度。為了達到更高的水準,我決定自己寫一套教學文件,希望可以為那些使用Pygame的朋友提供進階的學習。 這份教學鼓勵讀者去把玩程式碼,也非常建議對最後的練習題作些功課。這樣作可以讓你對這些教學有更好的瞭解。 預備知識 因為我在前面提過的理由,這份教學並不是給完全的初學者閱讀的。如果你才開始接觸 Pygame,先到這個 網頁 裡看一些基本的教學。這份 教學 也很適合初學Pygame。 在這篇文章,我假設你有下列知識:     >>Python(你不必是進階使用者,但也不能是完全的菜鳥)     >>基本的數學與物理(向量、矩形、運動定律、機率等等)。我會解釋所有不那麼明顯的部份,但我不會教你如何對向量作加法。     >>對Pygame有一些瞭解。你至少必須有瀏覽過在上面提到的教學裡的例子。 喔,還有一件事...這份教學主要考慮2D遊戲。3D有著另一層的困難度,我以後會提出一個自行開發一部份、簡單、不過足夠完整的3D demo。 我們開始吧! 在這個部份,我們最後會完成一個模擬 - 有著在地上爬的小生物,會蠕動,然後碰到牆壁也會反彈,並偶而改變它們的行進方向: 這當然不是一個遊戲,不過卻是一個很有用的開頭,讓我們可以實作不同的想法。我延遲給出這個遊戲最終會變成的模樣,當作給我自己的奢侈享受。 程式碼 part 1的完整程式碼...