PyCon 2012 走馬看花 day 1

這次參加了 PyCon 2012 ，我將個人覺得有趣的 talks 摘要如下：

Day 1, 6/9

Clime: Simple CLI-ize Your Program!
clime 是個可以將 python module 直接轉換成遵循 Unix 命令列程式般來操作的模組。主要原理是利用 Python 的 introspection 機制來取得模組中的 docstring ，然後再解析命令列上的選項，接著轉換成傳進模組的參數。這個創意頗有趣，可以讓註解與解析命令列的流程一致，畢竟解析命令列選項是蠻固定的步驟，是可以交由電腦執行的。但是像C語言並不支援 introspection，或許可以實作一個source-to-source translator，來為C programm作到一樣的效果。

Even faster Django
原本我對 web 開發技術完全沒有概念，但是聽完這場talk後，居然就大致上了解了整個流程與常見的最佳化技巧。當然，光用聽的沒實作經驗還是有很大的差距，但也不禁思考，網站開發在技術方面其實大多不難，重點是在創意與服務，對於我這種喜歡 system programming 的硬漢，的確需要轉換腦袋才行。:-)

NLTK: Natural Language Toolkit Introduxtion and Application
這場 talk 的講者是聚寶評的實作者，利用自然語言處理去自動分析網路上部落客的文章，然後擷取出對我們有用的資訊。由於我的新工作要負責垃圾郵件的過濾，所以這個技術看起來很值得一試。

PySX, a playstation emulatiorin Python
這是一個 playstation emulator，總算看到一個比較接近 system programming 的議題，但卻放在閃電秀(only 5 min)...真是太可惜了...或許明年我也來試著投稿？ MMIX emulator in Python? :P

留言

這個網誌中的熱門文章

誰在呼叫我？不同的backtrace實作說明好文章

今天下班前一個同事問到：如何在Linux kernel的function中主動印出backtrace以方便除錯？寫過kernel module的人都知道，基本上就是用dump_stack()之類的function就可以作到了。但是dump_stack()的功能是如何作到的呢？概念上其實並不難，慣用手法就是先觀察stack在function call時的變化(一般OS或計組教科書都有很好的說明，如果不想翻書，可以參考這篇 )，然後將對應的return address一層一層找出來後，再將對應的function名稱印出即可(透過執行檔中的section去讀取函式名稱即可，所以要將KALLSYM選項打開)。在userspace的實作可參考Jserv介紹過的 whocallme 或對岸好手實作過的 backtrace() ，都是針對x86架構的很好說明文章。不過從前面兩篇文章可以知道，只要知道編譯器的calling convention，就可以實作出backtrace，所以是否GCC有提供現成的機制呢？Yes, that is what __builtin_return_address() for!! 可以參考這篇文章。該篇文章還提到了其他可以拿來實作功能更齊全的backtrace的程式庫，在了解了運作原理後，用那些東西還蠻方便的。 OK，那Linux kernel是怎麼做的呢？就是用頭兩篇文章的方式啦~ 每個不同的CPU架構各自手工實作一份dump_stack()。為啥不用GCC的機制？畢竟...嗯，我猜想，除了backtrace以外，開發者還會想看其他register的值，還有一些有的沒的，所以光是GCC提供的介面是很難印出全部所要的資訊，與其用半套GCC的機制，不如全都自己來~ arm的實作大致上長這樣，可以看到基本上就只是透過迭代fp, lr, pc來完成： 352 void unwind_backtrace (struct pt_regs * regs , struct task_struct *tsk) 353 { 354 struct stackframe frame ; 355 register unsigned long current_sp asm ( "...

閱讀完整內容

淺讀Linux root file system初始化流程

在Unix的世界中，file system佔據一個極重要的抽象化地位。其中，/ 所代表的rootfs更是所有後續新增file system所必須依賴前提條件。以Linux為例，黑客 Jserv 就曾經詳細說明過 initramfs的背後設計考量。本篇文章不再重複背景知識，主要將追蹤rootfs初始化的流程作點整理，免得自己日後忘記。 :-) file system與特定CPU架構無關，所以我觀察的起點從init/main.c的start_kernel()開始，這是Linux作完基本CPU初始化後首先跳進的C function(我閱讀的版本為 3.12 )。跟root file system有關的流程羅列如下： start_kernel() -> vfs_caches_init_early() -> vfs_caches_init() -> mnt_init() -> init_rootfs() -> init_mount_tree() -> rest_init() -> kernel_thread(kernel_init,...) 其中比較重要的是mnt_int()中的init_rootfs()與init_mout_tree()。init_rootfs()實作如下： int __init init_root...

閱讀完整內容

中文試譯：Load-time relocation of shared libraries

作者： eliben 原文連結： http://eli.thegreenplace.net/2011/08/25/load-time-relocation-of-shared-libraries/ 共享庫的載入時重定位這篇文章的目的在解釋現代作業系統如何讓共享庫在載入時的連結動作發生。我們聚焦在32位元的x86 Linux上頭，但相同的原則在其他的作業系統與CPUs上一樣適用。要注意的是，共享庫有許多不同的名字 - 共享庫（shared libraries）,共享物件（ shared objects）,動態共享物件（ dynamic shared objects (DSOs)）,動態連結庫（ dynamically linked libraries（如果你習慣的是Windows的環境，就知道這是所謂的DLL））。為了一致性，我在整篇文章中會使用"共享庫"這個字眼。載入可執行檔如同其他支援虛擬記憶體的作業系統，Linux將可執行檔載入到一個固定的記憶體位址。如果我們檢視任意一個可執行檔的ELF header，我們將可發現一個Entry point的位址： $ readelf -h /usr/bin/uptime ELF Header: Magic: 7f 45 4c 46 01 01 01 00 00 00 00 00 00 00 00 00 Class: ELF32 [...] some header fields Entry point address: 0x8048470 [...] some header fields 這是由linker所放置的，可告訴作業系統要從何處開始執行此執行檔[1]。如果我們用GDB載入程式並觀察0x8048470的位址，我們將可看到.text segment的第一個被執行的指令。這代表的是，當linker連結可執行檔時，會把全部的內部符號引用的位址都確定下來（function以及data），確定它們的固定的、最終的位址。Linker本身會對自己進行一些relocation[2]，但最終的結果不會有任何的relocation。講啥啊？注意，我在上段文中特別強...

閱讀完整內容

軟體學徒forever

搜尋此網誌