Linux User Space記憶體管理行為

整理了一下Linux/glibc在user space的一些記憶體管理行為後，發現幾個有趣的現象，感覺值得紀錄一下：

1. glibc會依據malloc的block大小決定使用brk()/sbrk()或mmap()。

malloc呼叫後，glibc會根據block的大小決定是透過brk()/sbrk()或mmap()去跟kernel要記憶體，這個值可以透過mallopt(MMAP_THRESHOLD, size)去變更。我猜想這應該是為了效率問題。因為在heap中要找尋一塊足夠大的block，必須有某種查詢的方式去看目前free block是否足夠大塊，而一般程式的行為應該是以小塊block居多，所以往往會造成需要再呼叫brk()/sbrk()去要記憶體，而釋放大塊的block時，又需要再次呼叫brk()/sbrk()(小塊block一般不需要，看2.的說明)，這樣會造成很多不必要的system call呼叫。

2. glibc透過brk()/sbrk()去擴展/縮減heap的策略類似Schmitt trigger

因為brk()/sbrk()是system call，所以一般這個開銷會比library call大一些，為了減少小尺寸的block頻繁地觸發system call，brk()/sbrk()的呼叫時機會類似Schmitt trigger的特性，也就是說，當第一次要求小block時，就會透過brk()去擴展一個較大的尺寸，以減少後續呼叫次數，然後釋放block後，會等到heap的頂端退到了一個門檻值後才再呼叫sbrk去縮減。觀察方式很容易，如下：

[mars@dream tmp]$ ./a.out &

[2] 2447

[mars@dream tmp]$ 0x8b8f008 

[mars@dream tmp]$ cat /proc/2447/maps 
08048000-08049000 r-xp 00000000 08:03 2891777    /home/mars/hobbies/tmp/a.out
08049000-0804a000 r--p 00000000 08:03 2891777    /home/mars/hobbies/tmp/a.out
0804a000-0804b000 rw-p 00001000 08:03 2891777    /home/mars/hobbies/tmp/a.out
08b8f000-08bb0000 rw-p 00000000 00:00 0          [heap] <<- 132KB
b75f3000-b75f4000 rw-p 00000000 00:00 0 
b75f4000-b7732000 r-xp 00000000 08:03 1360051    /lib/tls/i686/cmov/libc-2.10.1.so
b7732000-b7733000 ---p 0013e000 08:03 1360051    /lib/tls/i686/cmov/libc-2.10.1.so
b7733000-b7735000 r--p 0013e000 08:03 1360051    /lib/tls/i686/cmov/libc-2.10.1.so
b7735000-b7736000 rw-p 00140000 08:03 1360051    /lib/tls/i686/cmov/libc-2.10.1.so
b7736000-b7739000 rw-p 00000000 00:00 0 
b774c000-b774f000 rw-p 00000000 00:00 0 
b774f000-b7750000 r-xp 00000000 00:00 0          [vdso]
b7750000-b776b000 r-xp 00000000 08:03 1335299    /lib/ld-2.10.1.so
b776b000-b776c000 r--p 0001a000 08:03 1335299    /lib/ld-2.10.1.so
b776c000-b776d000 rw-p 0001b000 08:03 1335299    /lib/ld-2.10.1.so
bfafb000-bfb10000 rw-p 00000000 00:00 0          [stack]
[mars@dream tmp]$ cat malloc_small.c 
#include <stdio.h>
#include <stdlib.h>
int main(void)
{
char *p = (char *)malloc(20); <<- 只要了20Bytes，但從上面可看到跟kernel要了132KB
printf("%p\n", p);
pause();
return 0;
}
可以透過mallopt(M_TRIM_THREASHOLD, size)來調整heap頂的空間大於多少時才觸發歸還給kernel的時機，也可以另外透過mallopt(M_TOP_PAD, size)來調整釋放後，heap頂要留多少預備後用。


3. heap頂的block沒被釋放時，歸還給kernal的動作不會被觸發。
這個還蠻合理的，不然heap就會分裂成多個VMA了，如此一來，合併/分割的演算法就無從進行，整個address space會逐漸破碎。


4. 過小的block不會合併再利用
glibc一般會試著對還回來的block進行合併，但為了速度，對於過小的block不會進行合併，此最小值可透過mallopt(M_MXFAST, size)進行設定。但要注意的是，由於glibc維護block也需要記憶體，所以如果將此值設得比預設值小只會造成更多的記憶體浪費，設大一點則可以改善malloc/free速度，但副作用是造成更多的合併沒有進行，使得fragmentation更嚴重。


5. Linux對process stack的擴展似乎不會回收
用recursive function就可以觀察到這個現象，這似乎說明當某個process有深度的recursive function時，系統的記憶體會被它吃光光...-_-


6. kernel對記憶體的過度承諾(overcommitment)
Linux對於brk()/sbrk()以及mmap()所要到的記憶體預設是以demand paging的方式進行，也就是說，當真的有去使用到的page才會發生page fault，然後在那個時間點才去對應實體記憶體，但這有時會有點問題。舉例，如果當malloc的時候成功，但等到時去使用該block時，才發現記憶體不夠時，那會發生什麼事？嗯，這時就會看到out of memory: oom kill process...之類的訊息出現。如果不想這樣的情況出現在你的系統，可以透過下列方式關閉：

$echo 2 > /proc/sys/vm/overcommit_memory