跳到主要內容

中文試譯:Virtual Memory I: the problem

原文日期:2004/03/10
原文作者:Jonathan Corbet
原文連結:http://lwn.net/Articles/75174/

這篇文章主要是要提供一些背景知識,解釋為何在這次的開發周期中,核心開發者正在考慮從基本架構上修改虛擬記憶體的運作方式。已經了解high與low記憶體是如何在32位元系統上運作的讀者,可以略過這些說明。

一個32位元的處理器最多僅能定址4GB的記憶體。理論上,我們可以擴展指令集來允許更大的定址,但實際上沒有人這麼作,因為對於效能與可計算性的影響都太重了。所以限制依然存在:在32位元的系統上,沒有一個process可以有超過4GB的address space,核心也無法直接定址多過4GB的位址。

事實上,限制條件其實更加嚴重。Linux核心將4GB的address space分割為兩部份,在一般的設定上,32位元的前3GB分配給user space,核心則分配到從0xc0000000開始的1GB空間。共享address space有效能上的好處,硬體的address translation buffer可以被核心與user space共享。

如果核心想要直接存取系統的physical記憶體,必須先建立page table去對應進核心的address space。對於預設的3GB/1GB分割方式,可以直接定址的pyhsical記憶體就只有略小於1GB的數量 - 因為部份的核心空間必須放置核心本身、使用vmalloc()要到的記憶體以及很多其他用途。這也就是為何一直到幾年前(譯註:注意原文發佈時間在2004),Linux都還不能完整使用32位元系統上超過1GB的記憶體。實際上,在1999年時,Linus甚至決定32位元的Linux不會支援超過2GB的記憶體。還嗆聲:"這件事沒得談。"

Linus的想法沒有改變,但世界持續對於32位元必須支援更大量記憶體有所需求。處理器供應商還增加了新的paging modes,可以讓physical addresses超過32位元的範圍,因此使得4GB的限制消失了。然而,Linux核心對於定址的限制依然沒有改變。令大型系統使用者欣慰的是,Linus承認錯誤,並改變了心意,他最終允許在2.3的核心有更大的記憶體支援。然而,這項支援有著先天上的代價與限制。

在32位元系統上,記憶體被區分為high memory與low memory。Low memory還是直接對應進核心的address space,所以總是可以直接以核心空間的指標去存取。High memory則沒有直接的對應,使用前必須先明確地建立page table去完成對應進核心空間的動作。這個動作的代價可能會很昂貴,而且能夠同時對應進核心空間的high-memory pages也有數量上的限制。

核心本身的資料結構必須存在於low memory中。無法永久對應的記憶體不能給linked lists使用(因為其virtual address是暫時的、可變的),而且對應與解除對應核心記憶體的效能代價太過高昂。High memory對於process pages與一些核心工作頗適合(舉例來說,I/O buffers),但對於核心本身來說,必須存在low memory才行。

某些32位元處理器已經可以定址64GB的實體記憶體了,但Linux核心還無法有效地處理這麼大量的記憶體,目前的上限依據負載情況,大概可達到8GB~16GB。現在的問題在於更大的系統輕易地就將low memory使用殆盡。當系統愈來愈龐大,就會需要更多的核心資料結構來管理,最終要配給這些結構的空間就會用光。在非常大型的系統上,光是system memory map(一個struct page的陣列,表示實際的實體記憶體)就可以佔掉low memory的一半容量。

有些使用者想要將32位元的Linux系統擴展到32GB或更多記憶體,所以一些企業導向的Linux套件已經讓這件事變得可能了。一種作法是利用Ingo Molnar的4G/4G補丁。這個補丁將kernel address space與user address space分開來,允許user processes使用4GB的虛擬記憶體,同時擴展核心的low memory達到4GB。然而,這種作法需要付出代價:translation buffer不再被共享了,必須在每次的kernel/user space切換時進行清除動作。效能損失依據使用情況有很大的差別,不過30%的差距已被提出。即便如此,這樣的選項可以讓一些系統使用,Red Hat針對企業級應用提供了4G/4G的核心。

4G/4G補丁可擴展Linux核心的能力,但仍然不是很廣為使用。它被認為是一個醜陋的解法,沒有人願意效能變差。所以也存在其他的方式來擴展Linux核心。這些努力中的一部份很有可能會在2.6核心中看到,但核心開發者似乎很不情願讓核心中的記憶體管理變得這麼畸形,只是為了滿足少部份使用者想擴展32位元系統的期待。這時就差不多可以用1999年時Linus的答案去反擊了:去弄個64位元的系統。

留言

這個網誌中的熱門文章

誰在呼叫我?不同的backtrace實作說明好文章

今天下班前一個同事問到:如何在Linux kernel的function中主動印出backtrace以方便除錯? 寫過kernel module的人都知道,基本上就是用dump_stack()之類的function就可以作到了。但是dump_stack()的功能是如何作到的呢?概念上其實並不難,慣用手法就是先觀察stack在function call時的變化(一般OS或計組教科書都有很好的說明,如果不想翻書,可以參考 這篇 ),然後將對應的return address一層一層找出來後,再將對應的function名稱印出即可(透過執行檔中的section去讀取函式名稱即可,所以要將KALLSYM選項打開)。在userspace的實作可參考Jserv介紹過的 whocallme 或對岸好手實作過的 backtrace() ,都是針對x86架構的很好說明文章。 不過從前面兩篇文章可以知道,只要知道編譯器的calling convention,就可以實作出backtrace,所以是否GCC有提供現成的機制呢?Yes, that is what __builtin_return_address() for!! 可以參考這篇 文章 。該篇文章還提到了其他可以拿來實作功能更齊全的backtrace的 程式庫 ,在了解了運作原理後,用那些東西還蠻方便的。 OK,那Linux kernel是怎麼做的呢?就是用頭兩篇文章的方式啦~ 每個不同的CPU架構各自手工實作一份dump_stack()。 為啥不用GCC的機制?畢竟...嗯,我猜想,除了backtrace以外,開發者還會想看其他register的值,還有一些有的沒的,所以光是GCC提供的介面是很難印出全部所要的資訊,與其用半套GCC的機制,不如全都自己來~ arm的實作 大致上長這樣,可以看到基本上就只是透過迭代fp, lr, pc來完成: 352 void unwind_backtrace (struct pt_regs * regs , struct task_struct *tsk) 353 { 354 struct stackframe frame ; 355 register unsigned long current_sp asm ( "

淺讀Linux root file system初始化流程

在Unix的世界中,file system佔據一個極重要的抽象化地位。其中,/ 所代表的rootfs更是所有後續新增file system所必須依賴前提條件。以Linux為例,黑客 Jserv 就曾經詳細說明過 initramfs的背後設計考量 。本篇文章不再重複背景知識,主要將追蹤rootfs初始化的流程作點整理,免得自己日後忘記。 :-) file system與特定CPU架構無關,所以我觀察的起點從init/main.c的start_kernel()開始,這是Linux作完基本CPU初始化後首先跳進的C function(我閱讀的版本為 3.12 )。跟root file system有關的流程羅列如下: start_kernel()         -> vfs_caches_init_early()         -> vfs_caches_init()                 -> mnt_init()                         -> init_rootfs()                         -> init_mount_tree()         -> rest_init()                 -> kernel_thread(kernel_init,...) 其中比較重要的是mnt_int()中的init_rootfs()與init_mout_tree()。init_rootfs()實作如下: int __init init_rootfs(void) {         int err = register_filesystem(&rootfs_fs_type);         if (err)                 return err;         if (IS_ENABLED(CONFIG_TMPFS) && !saved_root_name[0] &&                 (!root_fs_names || strstr(root_fs_names, "tmpfs"))) {          

kernel panic之後怎麼辦?

今天同事在處理一個陌生的模組時遇到kernel panic,Linux印出了backtrace,同事大致上可以知道是在哪個function中,但該function的長度頗長,短時間無法定位在哪個位置,在這種情況下,要如何收斂除錯範圍呢?更糟的是,由於加入printk會改變模組行為,所以printk基本上無法拿來檢查參數的值是否正常。 一般這樣的問題會backtrace的資訊來著手。從這個資訊我們可以知道在function中的多少offset發生錯誤,以x86為例(從 LDD3 借來的例子): Unable to handle kernel NULL pointer dereference at virtual address 00000000 printing eip: d083a064 Oops: 0002 [#1] SMP CPU:    0 EIP:    0060:[<d083a064>]    Not tainted EFLAGS: 00010246   (2.6.6) EIP is at faulty_write+0x4/0x10 [faulty] eax: 00000000   ebx: 00000000   ecx: 00000000   edx: 00000000 esi: cf8b2460   edi: cf8b2480   ebp: 00000005   esp: c31c5f74 ds: 007b   es: 007b   ss: 0068 Process bash (pid: 2086, threadinfo=c31c4000 task=cfa0a6c0) Stack: c0150558 cf8b2460 080e9408 00000005 cf8b2480 00000000 cf8b2460 cf8b2460        fffffff7 080e9408 c31c4000 c0150682 cf8b2460 080e9408 00000005 cf8b2480        00000000 00000001 00000005 c0103f8f 00000001 080e9408 00000005 00000005 Call Trace:  [<c0150558>] vfs