跳到主要內容

Linux User Space記憶體管理行為

整理了一下Linux/glibc在user space的一些記憶體管理行為後,發現幾個有趣的現象,感覺值得紀錄一下:

1. glibc會依據malloc的block大小決定使用brk()/sbrk()或mmap()。
malloc呼叫後,glibc會根據block的大小決定是透過brk()/sbrk()或mmap()去跟kernel要記憶體,這個值可以透過mallopt(MMAP_THRESHOLD, size)去變更。我猜想這應該是為了效率問題。因為在heap中要找尋一塊足夠大的block,必須有某種查詢的方式去看目前free block是否足夠大塊,而一般程式的行為應該是以小塊block居多,所以往往會造成需要再呼叫brk()/sbrk()去要記憶體,而釋放大塊的block時,又需要再次呼叫brk()/sbrk()(小塊block一般不需要,看2.的說明),這樣會造成很多不必要的system call呼叫。

2. glibc透過brk()/sbrk()去擴展/縮減heap的策略類似Schmitt trigger
因為brk()/sbrk()是system call,所以一般這個開銷會比library call大一些,為了減少小尺寸的block頻繁地觸發system call,brk()/sbrk()的呼叫時機會類似Schmitt trigger的特性,也就是說,當第一次要求小block時,就會透過brk()去擴展一個較大的尺寸,以減少後續呼叫次數,然後釋放block後,會等到heap的頂端退到了一個門檻值後才再呼叫sbrk去縮減。觀察方式很容易,如下:
[mars@dream tmp]$ ./a.out &
[2] 2447
[mars@dream tmp]$ 0x8b8f008 


[mars@dream tmp]$ cat /proc/2447/maps 
08048000-08049000 r-xp 00000000 08:03 2891777    /home/mars/hobbies/tmp/a.out
08049000-0804a000 r--p 00000000 08:03 2891777    /home/mars/hobbies/tmp/a.out
0804a000-0804b000 rw-p 00001000 08:03 2891777    /home/mars/hobbies/tmp/a.out
08b8f000-08bb0000 rw-p 00000000 00:00 0          [heap] <<- 132KB
b75f3000-b75f4000 rw-p 00000000 00:00 0 
b75f4000-b7732000 r-xp 00000000 08:03 1360051    /lib/tls/i686/cmov/libc-2.10.1.so
b7732000-b7733000 ---p 0013e000 08:03 1360051    /lib/tls/i686/cmov/libc-2.10.1.so
b7733000-b7735000 r--p 0013e000 08:03 1360051    /lib/tls/i686/cmov/libc-2.10.1.so
b7735000-b7736000 rw-p 00140000 08:03 1360051    /lib/tls/i686/cmov/libc-2.10.1.so
b7736000-b7739000 rw-p 00000000 00:00 0 
b774c000-b774f000 rw-p 00000000 00:00 0 
b774f000-b7750000 r-xp 00000000 00:00 0          [vdso]
b7750000-b776b000 r-xp 00000000 08:03 1335299    /lib/ld-2.10.1.so
b776b000-b776c000 r--p 0001a000 08:03 1335299    /lib/ld-2.10.1.so
b776c000-b776d000 rw-p 0001b000 08:03 1335299    /lib/ld-2.10.1.so
bfafb000-bfb10000 rw-p 00000000 00:00 0          [stack]
[mars@dream tmp]$ cat malloc_small.c 
#include <stdio.h>
#include <stdlib.h>
int main(void)
{
char *p = (char *)malloc(20); <<- 只要了20Bytes,但從上面可看到跟kernel要了132KB
printf("%p\n", p);
pause();
return 0;
}
可以透過mallopt(M_TRIM_THREASHOLD, size)來調整heap頂的空間大於多少時才觸發歸還給kernel的時機,也可以另外透過mallopt(M_TOP_PAD, size)來調整釋放後,heap頂要留多少預備後用。


3. heap頂的block沒被釋放時,歸還給kernal的動作不會被觸發。
這個還蠻合理的,不然heap就會分裂成多個VMA了,如此一來,合併/分割的演算法就無從進行,整個address space會逐漸破碎。


4. 過小的block不會合併再利用
glibc一般會試著對還回來的block進行合併,但為了速度,對於過小的block不會進行合併,此最小值可透過mallopt(M_MXFAST, size)進行設定。但要注意的是,由於glibc維護block也需要記憶體,所以如果將此值設得比預設值小只會造成更多的記憶體浪費,設大一點則可以改善malloc/free速度,但副作用是造成更多的合併沒有進行,使得fragmentation更嚴重。


5. Linux對process stack的擴展似乎不會回收
用recursive function就可以觀察到這個現象,這似乎說明當某個process有深度的recursive function時,系統的記憶體會被它吃光光...-_-


6. kernel對記憶體的過度承諾(overcommitment)
Linux對於brk()/sbrk()以及mmap()所要到的記憶體預設是以demand paging的方式進行,也就是說,當真的有去使用到的page才會發生page fault,然後在那個時間點才去對應實體記憶體,但這有時會有點問題。舉例,如果當malloc的時候成功,但等到時去使用該block時,才發現記憶體不夠時,那會發生什麼事?嗯,這時就會看到out of memory: oom kill process...之類的訊息出現。如果不想這樣的情況出現在你的系統,可以透過下列方式關閉:
$echo 2 > /proc/sys/vm/overcommit_memory

留言

這個網誌中的熱門文章

誰在呼叫我?不同的backtrace實作說明好文章

今天下班前一個同事問到:如何在Linux kernel的function中主動印出backtrace以方便除錯? 寫過kernel module的人都知道,基本上就是用dump_stack()之類的function就可以作到了。但是dump_stack()的功能是如何作到的呢?概念上其實並不難,慣用手法就是先觀察stack在function call時的變化(一般OS或計組教科書都有很好的說明,如果不想翻書,可以參考 這篇 ),然後將對應的return address一層一層找出來後,再將對應的function名稱印出即可(透過執行檔中的section去讀取函式名稱即可,所以要將KALLSYM選項打開)。在userspace的實作可參考Jserv介紹過的 whocallme 或對岸好手實作過的 backtrace() ,都是針對x86架構的很好說明文章。 不過從前面兩篇文章可以知道,只要知道編譯器的calling convention,就可以實作出backtrace,所以是否GCC有提供現成的機制呢?Yes, that is what __builtin_return_address() for!! 可以參考這篇 文章 。該篇文章還提到了其他可以拿來實作功能更齊全的backtrace的 程式庫 ,在了解了運作原理後,用那些東西還蠻方便的。 OK,那Linux kernel是怎麼做的呢?就是用頭兩篇文章的方式啦~ 每個不同的CPU架構各自手工實作一份dump_stack()。 為啥不用GCC的機制?畢竟...嗯,我猜想,除了backtrace以外,開發者還會想看其他register的值,還有一些有的沒的,所以光是GCC提供的介面是很難印出全部所要的資訊,與其用半套GCC的機制,不如全都自己來~ arm的實作 大致上長這樣,可以看到基本上就只是透過迭代fp, lr, pc來完成: 352 void unwind_backtrace (struct pt_regs * regs , struct task_struct *tsk) 353 { 354 struct stackframe frame ; 355 register unsigned long current_sp asm ( "

淺讀Linux root file system初始化流程

在Unix的世界中,file system佔據一個極重要的抽象化地位。其中,/ 所代表的rootfs更是所有後續新增file system所必須依賴前提條件。以Linux為例,黑客 Jserv 就曾經詳細說明過 initramfs的背後設計考量 。本篇文章不再重複背景知識,主要將追蹤rootfs初始化的流程作點整理,免得自己日後忘記。 :-) file system與特定CPU架構無關,所以我觀察的起點從init/main.c的start_kernel()開始,這是Linux作完基本CPU初始化後首先跳進的C function(我閱讀的版本為 3.12 )。跟root file system有關的流程羅列如下: start_kernel()         -> vfs_caches_init_early()         -> vfs_caches_init()                 -> mnt_init()                         -> init_rootfs()                         -> init_mount_tree()         -> rest_init()                 -> kernel_thread(kernel_init,...) 其中比較重要的是mnt_int()中的init_rootfs()與init_mout_tree()。init_rootfs()實作如下: int __init init_rootfs(void) {         int err = register_filesystem(&rootfs_fs_type);         if (err)                 return err;         if (IS_ENABLED(CONFIG_TMPFS) && !saved_root_name[0] &&                 (!root_fs_names || strstr(root_fs_names, "tmpfs"))) {          

kernel panic之後怎麼辦?

今天同事在處理一個陌生的模組時遇到kernel panic,Linux印出了backtrace,同事大致上可以知道是在哪個function中,但該function的長度頗長,短時間無法定位在哪個位置,在這種情況下,要如何收斂除錯範圍呢?更糟的是,由於加入printk會改變模組行為,所以printk基本上無法拿來檢查參數的值是否正常。 一般這樣的問題會backtrace的資訊來著手。從這個資訊我們可以知道在function中的多少offset發生錯誤,以x86為例(從 LDD3 借來的例子): Unable to handle kernel NULL pointer dereference at virtual address 00000000 printing eip: d083a064 Oops: 0002 [#1] SMP CPU:    0 EIP:    0060:[<d083a064>]    Not tainted EFLAGS: 00010246   (2.6.6) EIP is at faulty_write+0x4/0x10 [faulty] eax: 00000000   ebx: 00000000   ecx: 00000000   edx: 00000000 esi: cf8b2460   edi: cf8b2480   ebp: 00000005   esp: c31c5f74 ds: 007b   es: 007b   ss: 0068 Process bash (pid: 2086, threadinfo=c31c4000 task=cfa0a6c0) Stack: c0150558 cf8b2460 080e9408 00000005 cf8b2480 00000000 cf8b2460 cf8b2460        fffffff7 080e9408 c31c4000 c0150682 cf8b2460 080e9408 00000005 cf8b2480        00000000 00000001 00000005 c0103f8f 00000001 080e9408 00000005 00000005 Call Trace:  [<c0150558>] vfs