跳到主要內容

2011 Summary and 2012 resolutions

今天是平安夜,接近2011的尾聲了,差不多是該為今年作個回顧,並為2012定幾個目標。回顧2011,在專業上我有幾個比較大的轉變:
  1. 開始寫blog。我從9月下旬開始寫blog紀錄自己的學習心得,發現透過整理與解釋的過程會將一些凌散的知識作較系統的整理。我常常在google+零碎地紀錄想法,然後有空時就會整理好寫一篇blog,不管是閱讀的書籍或一些程式設計技巧,整理過後都明顯留下更深刻的印象,這個好習慣我會持續保持下去。
  2. 複習基礎學科。今年其實花了不少時間複習大學的基礎學科(不過我不是CS科班生,所以應該算第一次系統地學習這些知識:P),像是資料結構、演算法、計算機架構、函數式程式設計、作業系統、系統程式。在這過程深深感受基礎知識的重要性在實務上可以帶來多大的幫助,我希望自己可以不斷地以此為基礎延伸自己的軟體知識。在這個過程中,我讀到幾本獲益良多的書籍,推荐給大家:
  • Introduction to computing:這本書是University of Virginia的CS入門課程用書,由他們自己的老師所寫。介紹了CS中重要的概念,並以Scheme語言作為媒介來進行程式設計,展現核心思想。從這本書我學習到了有別於imperative programming的方式,並預計繼續多看一些functional programming的資料。
  • Foundations of Computer Science:這是由大師Al AhoJeff Ullman所寫的CS入門書,雖定義為入門書,不過大師之作依然非常紮實,重要的CS概念解釋的非常清楚,極度推荐(我快讀完了,每章都有練幾題習題喔!)。
  • The Linux Programming Interfaces:這本書是Linux man page的維護者所撰寫,將user space程式所需的作業系統介面作了完整的介紹,可媲美以前的Steven系列書籍
  • Data Structures and Algorithm Analysis in C:說來慚愧,唸書時雖然也有修過資料結構的課程,但那時並不是很有感受,直到工作後遇到不少問題,才慢慢去尋找相關資料來補齊,但一直沒有系統的整理過,所以找了一本風評不錯的教科書來研讀(但目前也只讀一半...)。各式的資料結構或算法分析與設計技巧雖然日常實務中未必會用到,但它們就像程式設計師的百寶箱一樣,需要時拿出來耍一耍,連自己都會驚豔。:)
  • Professional Linux Kernel Architecture (中譯版:深入探索Linux核心架構):日常工作就是以撰寫Linux kernel module為主,所以要學習作業系統的知識時,我自然會找Linux相關的書籍來看。這本書的優點是會將重點放在一般概念與Linux的實際作法上,並只將相關程式碼摘要出來,而不會只是乾乾的不斷說明流程。這種作法對已經熟悉作業系統的人來說或許會有點冗長,但透過不同的解釋與文章鋪陳,我覺得閱讀起來蠻順暢的(不過一樣只讀到一半:P)。
  • Computer Systems: A programmer's perspective:這本書講的是整個計算機系統,包括CPU架構、記憶體階層、作業系統、連結與載入。並且主要以程式設計師的角度來看重要的計算機知識,閱讀這本書是為了補齊對計算機內部運作的了解不足。這本書我並沒有通讀,只有將我感興趣的部份精讀。然後其他的部份就由更深入的書籍補充。
  • 程式設計師的自我修養:這本書是由對岸的好手所撰寫,講的是連結、載入與C執行期程式庫,並主要以Linux/ELF/glibc為討論對象,透過詳盡的解說每個步驟,以及用binutils去分析每個動作,可以讓我們對現代作業系統如何運行一個程式的流程更為清楚。了解執行檔格式有很多好處,可以讓我們更快地了解許多binary translation的工具與應用(像debugger、profiler、memory detector...),而不會覺得那是神祕不可輕易把玩的領域,並能夠親自觀察許多系統的有趣行為。
以上是在專業的部份所作的一些紀錄,對於接下來的學習計劃,基本上會先把上述還沒讀完的書籍研讀完,然後再繼續一些計劃,包括更深入的學習上述的項目以及將一些心力放在實作上的驗證與體會,包括:
  1. FNTT (From Nand to Tetris):這是我研讀The Elements of Computing Systems這本書的目的,預計跟著這本書一步步實作每個模組,最後可以完成我的目標,我在google code開了個小專案,會逐步將這個過程紀錄下來,Form Nand to Tetris。Go!!
  2. 深入學習Scheme:接觸過Scheme後,對相關知識非常著迷,所以我希望可以將SICP這本經典精讀,並練習至少半數以上的練習題。Eli大俠曾經作過類似的事情,見賢思齊,衝啊!!
預計6月前完成上述目標,然後再深入感興趣的特定部份。至於非專業的部份嘛~今年最大的進步就是持續的運動。完成了半程馬拉松,並成功減重五公斤。希望自己能維持游泳、慢跑的好習慣,在2012能將身材練得更精實些,並完成全程馬拉松完賽的目標。Keep walking!!

留言

這個網誌中的熱門文章

誰在呼叫我?不同的backtrace實作說明好文章

今天下班前一個同事問到:如何在Linux kernel的function中主動印出backtrace以方便除錯? 寫過kernel module的人都知道,基本上就是用dump_stack()之類的function就可以作到了。但是dump_stack()的功能是如何作到的呢?概念上其實並不難,慣用手法就是先觀察stack在function call時的變化(一般OS或計組教科書都有很好的說明,如果不想翻書,可以參考 這篇 ),然後將對應的return address一層一層找出來後,再將對應的function名稱印出即可(透過執行檔中的section去讀取函式名稱即可,所以要將KALLSYM選項打開)。在userspace的實作可參考Jserv介紹過的 whocallme 或對岸好手實作過的 backtrace() ,都是針對x86架構的很好說明文章。 不過從前面兩篇文章可以知道,只要知道編譯器的calling convention,就可以實作出backtrace,所以是否GCC有提供現成的機制呢?Yes, that is what __builtin_return_address() for!! 可以參考這篇 文章 。該篇文章還提到了其他可以拿來實作功能更齊全的backtrace的 程式庫 ,在了解了運作原理後,用那些東西還蠻方便的。 OK,那Linux kernel是怎麼做的呢?就是用頭兩篇文章的方式啦~ 每個不同的CPU架構各自手工實作一份dump_stack()。 為啥不用GCC的機制?畢竟...嗯,我猜想,除了backtrace以外,開發者還會想看其他register的值,還有一些有的沒的,所以光是GCC提供的介面是很難印出全部所要的資訊,與其用半套GCC的機制,不如全都自己來~ arm的實作 大致上長這樣,可以看到基本上就只是透過迭代fp, lr, pc來完成: 352 void unwind_backtrace (struct pt_regs * regs , struct task_struct *tsk) 353 { 354 struct stackframe frame ; 355 register unsigned long current_sp asm ( "

淺讀Linux root file system初始化流程

在Unix的世界中,file system佔據一個極重要的抽象化地位。其中,/ 所代表的rootfs更是所有後續新增file system所必須依賴前提條件。以Linux為例,黑客 Jserv 就曾經詳細說明過 initramfs的背後設計考量 。本篇文章不再重複背景知識,主要將追蹤rootfs初始化的流程作點整理,免得自己日後忘記。 :-) file system與特定CPU架構無關,所以我觀察的起點從init/main.c的start_kernel()開始,這是Linux作完基本CPU初始化後首先跳進的C function(我閱讀的版本為 3.12 )。跟root file system有關的流程羅列如下: start_kernel()         -> vfs_caches_init_early()         -> vfs_caches_init()                 -> mnt_init()                         -> init_rootfs()                         -> init_mount_tree()         -> rest_init()                 -> kernel_thread(kernel_init,...) 其中比較重要的是mnt_int()中的init_rootfs()與init_mout_tree()。init_rootfs()實作如下: int __init init_rootfs(void) {         int err = register_filesystem(&rootfs_fs_type);         if (err)                 return err;         if (IS_ENABLED(CONFIG_TMPFS) && !saved_root_name[0] &&                 (!root_fs_names || strstr(root_fs_names, "tmpfs"))) {          

kernel panic之後怎麼辦?

今天同事在處理一個陌生的模組時遇到kernel panic,Linux印出了backtrace,同事大致上可以知道是在哪個function中,但該function的長度頗長,短時間無法定位在哪個位置,在這種情況下,要如何收斂除錯範圍呢?更糟的是,由於加入printk會改變模組行為,所以printk基本上無法拿來檢查參數的值是否正常。 一般這樣的問題會backtrace的資訊來著手。從這個資訊我們可以知道在function中的多少offset發生錯誤,以x86為例(從 LDD3 借來的例子): Unable to handle kernel NULL pointer dereference at virtual address 00000000 printing eip: d083a064 Oops: 0002 [#1] SMP CPU:    0 EIP:    0060:[<d083a064>]    Not tainted EFLAGS: 00010246   (2.6.6) EIP is at faulty_write+0x4/0x10 [faulty] eax: 00000000   ebx: 00000000   ecx: 00000000   edx: 00000000 esi: cf8b2460   edi: cf8b2480   ebp: 00000005   esp: c31c5f74 ds: 007b   es: 007b   ss: 0068 Process bash (pid: 2086, threadinfo=c31c4000 task=cfa0a6c0) Stack: c0150558 cf8b2460 080e9408 00000005 cf8b2480 00000000 cf8b2460 cf8b2460        fffffff7 080e9408 c31c4000 c0150682 cf8b2460 080e9408 00000005 cf8b2480        00000000 00000001 00000005 c0103f8f 00000001 080e9408 00000005 00000005 Call Trace:  [<c0150558>] vfs