Linux吃掉了我的內存
分享一篇Linux內存管理的經典文章,原文出自Linux吃掉我的內存。
在Windows下資源管理器查看內存使用的情況,如果使用率達到80%以上,再運行大程序就能感覺到系統不流暢了,因為在內存緊缺的情況下使用交換分區,頻繁地從磁碟上換入換出頁會極大地影響系統的性能。而當我們使用free命令查看Linux系統內存使用情況時,會發現內存使用一直處於較高的水平,即使此時系統並沒有運行多少軟體。這正是Windows和Linux在內存管理上的區別,乍一看,Linux系統吃掉我們的內存(Linux ate my ram),但其實這也正是其內存管理的特點。
free命令介紹
下面為使用free命令查看我們實驗室文件伺服器內存得到的結果,-m選項表示使用MB為單位:
輸出的第二行表示系統內存的使用情況:
Mem: total(總量)= 3920MB,
used(已使用)= 1938MB,
free(空閑)= 1982MB,shared(共享內存)= 0MB,buffers = 497MB,cached = 1235MB
註:前面四項都比較好理解,buffer 和 cache找不到合適的詞來翻譯,它們的區別在於:
- A buffer is something that has yet to be 「written」 to disk.
- A cache is something that has been 「read」 from the disk and stored for later use.
即buffer用於存放要輸出到磁碟的數據,而cache是從磁碟讀出存放到內存中待今後使用的數據。它們的引入均是為了提供IO的性能。
輸出的第三行表示在第二行的基礎上-/+ buffers/cache得到的:
– buffers/cache used = Mem used – buffers – cached = 1938MB – 497MB – 1235MB = 205MB
+ buffers/cache free = Mem free + buffers + cached = 1982MB + 497MB + 1235MB = 3714MB
輸出的第三行表示交換分區使用的情況:
Swap:total(總量)= 4095MB
used(使用)= 0MB
free(空閑)= 4095MB
由於系統當前內存還比較充足,並未使用到交換分區。
上面輸出的結果比較難理解的可能是第三行,為什麼要向用戶展示這行數據呢?內存使用量減去系統buffer/cached的內存表示何意呢?系統空閑內存加上buffer/cached的內存又表示何意?
內存的分類
我們把內存分為三類,從用戶和操作系統的角度對其使用情況有不同的稱呼:
Memory that isYou』d call itLinux calls ittaken by applicationsUsedUsedavailable for applications, and used for somethingFreeUsednot used for anythingFreeFree
上表中something代表的正是free命令中」buffers/cached」的內存,由於這塊內存從操作系統的角度確實被使用,但如果用戶要使用,這塊內存是可以很快被回收被用戶程序使用,因此從用戶角度這塊內存應劃為空閑狀態。
再次回到free命令輸出的結果,第三行輸出的結果應該就能理解了,這行的數字表示從用戶角度看系統內存的使用情況。因此,如果你用top或者free命令查看系統的內存還剩多少,其實你應該將空閑內存加上buffer/cached的內存,那才是實際系統空閑的內存。
buffers/cached好處
Linux
內存管理做了很多精心的設計,除了對dentry進行緩存(用於VFS,加速文件路徑名到inode的轉換),還採取了兩種主要Cache方式:Buffer Cache和Page Cache,目的就是為了提升磁碟IO的性能。從低速的塊設備上讀取數據會暫時保存在內存中,即使數據在當時已經不再需要了,但在應用程序下一次訪問該數據時,它可以從內存中直接讀取,從而繞開低速的塊設備,從而提高系統的整體性能。
而Linux會充分利用這些空閑的內存,設計思想是內存空閑還不如拿來多緩存一些數據,等下次程序再次訪問這些數據速度就快了,而如果程序要使用內存而系統中內存又不足時,這時不是使用交換分區,而是快速回收部分緩存,將它們留給用戶程序使用。
因此,可以看出,buffers/cached真是百益而無一害,真正的壞處可能讓用戶產生一種錯覺——Linux耗內存!其實不然,Linux並沒有吃掉你的內存,只要還未使用到交換分區,你的內存所剩無幾時,你應該感到慶幸,因為Linux緩存了大量的數據,也許下一次你就從中受益!
實驗證明
下面通過實驗來驗證上面的結論:
我們先後讀入一個大文件,比較兩次讀入的實踐:
1.首先生成一個1G的大文件
2.清空緩存
3.讀入這個文件,測試消耗的時間
4.再次讀入該文件,測試消耗的時間
從上面看出,第一次讀這個1G的文件大約耗時18s,而第二次再次讀的時候,只耗時0.3s,足足提升60倍!
參考資料:
- https://groups.google.com/forum/#!topic/shlug/Dvc-ciKGt7s/discussion 實驗室師兄以前提出」cp命令佔用雙倍內存問題」,在SLUG上的討論,正是這個疑惑一直在我心中
- http://www.linuxatemyram.com/ 前兩天在Hacker News看到」Linux ate my ram」這個網頁,寫的通俗易懂,也順藤摸瓜解決心中很多疑惑
- http://www.linuxatemyram.com/play.html 作者給出了其他的實驗來分別驗證磁碟cache對程序分配、交換分區、程序載入時間等的影響
- http://www.cnblogs.com/coldplayerest/archive/2010/02/20/1669949.html 一篇對free命令介紹的博客
你想更深入了解學習Linux知識體系,你可以看一下我們花費了一個多月整理了上百小時的幾百個知識點體系內容:
【超全整理】《Linux雲計算從入門到精通》系列實戰筆記全放送
推薦閱讀:
※在同一硬體上,同一條彙編指令在不同操作系統中彙編後的二進位代碼是否一樣?
※Linux小白學習法寶-命令大全第一部分
※用R語言修改一個工具包,做並行計算上的優化應該怎麼入手?