跳到主要內容

Some great articles to learn memory management

這半年來在工作上負責開發一個在Linux核心中的記憶體管理模組,主要用來處理視訊記憶體的需求。在開發的過程閱讀了不少資料,我將其中不錯的文章整理一下,或許對剛接觸的朋友會有點幫助:
  1. Memory management reference(MMR):這個網站非常適合新手入門記憶體管理。其中的幾篇入門文章寫得尤其好。從overview可以知道記憶體管理的技術範圍,從allocation可以知道malloc()/free()的基本實作手法與優缺點,從recycling則可以知道常見的garbage collection機制。
  2. Inside memory management(IMM):閱讀過MMR的基礎文章後,就可以從不同的角度去獨立學習。這篇文章講的是如何在Linux上實現一組最簡單的malloc()/free()。
  3. Buddy memory allocation(BMA):IMM這篇文章實現了簡單的記憶體配置,但馬上也面臨到嚴重的external fragmentation的問題,減緩的手法之一是透過buddy memory allocation,wikipedia上的說明非常清楚,實作的話可以參考對岸好手雲風的設計
  4. Slab allocator:BMA的方式一定程度的減緩了external fragmentation,但卻也令小塊記憶體配置頻繁時的internal fragmentation的情況變得嚴重,解決手法很多,slab allocator試著解決這個問題,並提升了效能。實作方式可以參考libumem
  5. What every programmer should know about memory:如果你想要深入學習記憶體管理技術,那麼從記憶體的硬體模組、計算機架構、作業系統的角度切入是不可或缺的,但是從頭閱讀數本教科書然後截取出跟記憶體相關章節有點累人,好在glibc的維護者寫了一篇好文章,介紹程式設計師所應該知道的基礎。
  6. 閱讀Linux source code:我是在有了前面這些基礎後,重新看Linux相關書籍與記憶體管理技術才有較深入的理解,包括MMU、page cache、hot-n-cold page、slab framework、swap...,畢竟Linux kernel hacker對很多名詞與概念都已經熟到相當程度,所以設計的許多機制都經過了好幾層的思考,在一頭栽入龐大的架構之前,先鍛鍊好基礎吧!
當然,記憶體管理的相關研究非常的多,永遠都有值得研究的新東西,在不同的workload下,不同的手法會有驚人的差異,沒有哪個手法是絕對性的勝利。另外,當garbage collection、multicore、分散式系統...引入後,都會讓記憶體管理的議題變得更複雜,好的記憶體管理手法往往扮演提升系統效能的核心角色。上述幾篇文章頂多只能算是進入到記憶體"配置"的大門,其他有趣的記憶體管理技術,待小弟有更多經驗後,再跟大家分享。:-)

留言

這個網誌中的熱門文章

淺讀Linux root file system初始化流程

在Unix的世界中,file system佔據一個極重要的抽象化地位。其中,/ 所代表的rootfs更是所有後續新增file system所必須依賴前提條件。以Linux為例,黑客 Jserv 就曾經詳細說明過 initramfs的背後設計考量 。本篇文章不再重複背景知識,主要將追蹤rootfs初始化的流程作點整理,免得自己日後忘記。 :-) file system與特定CPU架構無關,所以我觀察的起點從init/main.c的start_kernel()開始,這是Linux作完基本CPU初始化後首先跳進的C function(我閱讀的版本為 3.12 )。跟root file system有關的流程羅列如下: start_kernel()         -> vfs_caches_init_early()         -> vfs_caches_init()                 -> mnt_init()                         -> init_rootfs()                         -> init_mount_tree()         -> rest_init()                 -> kernel_thread(kernel_init,...) 其中比較重要的是mnt_int()中的init_rootfs()與init_mout_tree()。init_rootfs()實作如下: int __init init_root...

誰在呼叫我?不同的backtrace實作說明好文章

今天下班前一個同事問到:如何在Linux kernel的function中主動印出backtrace以方便除錯? 寫過kernel module的人都知道,基本上就是用dump_stack()之類的function就可以作到了。但是dump_stack()的功能是如何作到的呢?概念上其實並不難,慣用手法就是先觀察stack在function call時的變化(一般OS或計組教科書都有很好的說明,如果不想翻書,可以參考 這篇 ),然後將對應的return address一層一層找出來後,再將對應的function名稱印出即可(透過執行檔中的section去讀取函式名稱即可,所以要將KALLSYM選項打開)。在userspace的實作可參考Jserv介紹過的 whocallme 或對岸好手實作過的 backtrace() ,都是針對x86架構的很好說明文章。 不過從前面兩篇文章可以知道,只要知道編譯器的calling convention,就可以實作出backtrace,所以是否GCC有提供現成的機制呢?Yes, that is what __builtin_return_address() for!! 可以參考這篇 文章 。該篇文章還提到了其他可以拿來實作功能更齊全的backtrace的 程式庫 ,在了解了運作原理後,用那些東西還蠻方便的。 OK,那Linux kernel是怎麼做的呢?就是用頭兩篇文章的方式啦~ 每個不同的CPU架構各自手工實作一份dump_stack()。 為啥不用GCC的機制?畢竟...嗯,我猜想,除了backtrace以外,開發者還會想看其他register的值,還有一些有的沒的,所以光是GCC提供的介面是很難印出全部所要的資訊,與其用半套GCC的機制,不如全都自己來~ arm的實作 大致上長這樣,可以看到基本上就只是透過迭代fp, lr, pc來完成: 352 void unwind_backtrace (struct pt_regs * regs , struct task_struct *tsk) 353 { 354 struct stackframe frame ; 355 register unsigned long current_sp asm ( "...

中文試譯:Writing a game in Python with Pygame. Part I

原文作者: Eli Bendersky 原文連結: http://eli.thegreenplace.net/2008/12/13/writing-a-game-in-python-with-pygame-part-i/ 簡介 遊戲是最能應用程式設計技巧的領域之一。為了寫出最簡單的遊戲,你必須跟圖像、數學、物理甚至是人工智慧打交道。寫遊戲非常酷,而且也是練習程式設計的有趣方式。 如果你是Python的粉絲(就算你不是也無妨),並且對遊戲有興趣,那麼 Pygame 就是很屌的遊戲程式設計庫,你一定要注意它。它可以在所有主要的平台執行,並提供簡單的工具去管理複雜的、充滿變動與音效的世界。 在網路上有很多Pygame的教學,但大都太過簡單了。甚至是 Pygame book 都停留在入門的程度。為了達到更高的水準,我決定自己寫一套教學文件,希望可以為那些使用Pygame的朋友提供進階的學習。 這份教學鼓勵讀者去把玩程式碼,也非常建議對最後的練習題作些功課。這樣作可以讓你對這些教學有更好的瞭解。 預備知識 因為我在前面提過的理由,這份教學並不是給完全的初學者閱讀的。如果你才開始接觸 Pygame,先到這個 網頁 裡看一些基本的教學。這份 教學 也很適合初學Pygame。 在這篇文章,我假設你有下列知識:     >>Python(你不必是進階使用者,但也不能是完全的菜鳥)     >>基本的數學與物理(向量、矩形、運動定律、機率等等)。我會解釋所有不那麼明顯的部份,但我不會教你如何對向量作加法。     >>對Pygame有一些瞭解。你至少必須有瀏覽過在上面提到的教學裡的例子。 喔,還有一件事...這份教學主要考慮2D遊戲。3D有著另一層的困難度,我以後會提出一個自行開發一部份、簡單、不過足夠完整的3D demo。 我們開始吧! 在這個部份,我們最後會完成一個模擬 - 有著在地上爬的小生物,會蠕動,然後碰到牆壁也會反彈,並偶而改變它們的行進方向: 這當然不是一個遊戲,不過卻是一個很有用的開頭,讓我們可以實作不同的想法。我延遲給出這個遊戲最終會變成的模樣,當作給我自己的奢侈享受。 程式碼 part 1的完整程式碼...