標籤:

淺談Linux進程模型

寫在前面

  • 進程基礎
    • 進程概念
    • 進程描述符
    • 進程創建
    • 上下文切換
    • init進程
  • 進程應用
    • 進程間通信
    • 信號處理
    • 後台進程與守護進程
    • 淺談nginx多進程模型
  • 常用工具介紹
    • ps: 查看進程屬性
    • lsof: 查看打開的文件情況
    • netstat: 查看網路連接情況
    • strace: 查看系統調用情況

進程基礎

基礎概念

進程是操作系統的基本概念之一,它是操作系統分配資源的基本單位,也是程序執行過程的實體。程序是代碼和數據的集合,本身是一個靜態的概念,而進程是程序的一次執行的實體,是一個動態的概念。

那在Linux操作系統中,是如何描述一個進程的呢?

進程描述符

為了管理進程,內核需要對每個進程的屬性和所需要做的事情,進行清楚的描述,這個就是進程描述符的作用,Linux中的進程描述符由task_struct標識。

task_struct的數據結構是相當複雜的,不僅包含了很進程屬性的欄位,而且也包括了指向其他數據結構的指針。大致結構如下:

  • state: 描述進程狀態
  • thread_info: 進程的基本信息
  • mm: mm_struct指向內存區描述符的指針
  • tty: tty_struct終端相關的描述符
  • fs: fs_struct當前目錄
  • files: files_struct指向文件描述符的指針
  • signal: signal_struct所接收的信號描述
  • 很多等等。。

總結一下,進程描述符完整的保存了一個進程的屬性和生命周期內的數據、狀態和行為,由一個複雜的數據結構task_struct來表示。

進程創建

Linux創建一個進程,大致經歷的過程如下:

    1. 初始化進程描述符
    2. 申請相應的內存區域
    3. 設置進程狀態、加入調度隊列等等
    4. ...

為了完整的描述一個進程,操作系統設計了非常複雜的數據結構、也申請了大量的內存空間。但是得益於寫時複製技術,這些初始化操作,並沒有明顯的降低進程的創建速度。

寫時複製技術:當新進程(子進程)被創建時,Linux內核並不會立馬將父進程的內容複製給子進程,而僅僅當進程空間的內容發生變化時,才執行複製操作。寫時複製技術允許父子進程讀取相同的物理頁,只要兩者有一個試圖更改頁內容,內核就會把這個頁的內容拷貝到新的物理頁,並把這塊頁分給正在寫的進程。

Linux中有三種系統調用可以創建進程 clone()、fork()、vfork()

  • clone(): 最基礎的創建進程的系統調用,可以指明子進程的基礎屬性(由各種FLAG標識)、堆棧等等。
  • fork(): 通過clone()實現,它的堆棧指向的是父進程的堆棧,因此父子進程共享同一個用戶態堆棧。fork的子進程需要完全copy父進程的內存空間,但是得益於寫時複製技術,這個過程其實挺快。
  • vfork(): 也是基於clone()來實現的,是歷史上對fork()的優化,因為fork()需要copy父進程的內存空間,並且fork()後常常執行execve()將另一個程序載入進來,在寫時複製技術之前,這種不必要的copy是代價是比較高昂的。因此vfork()實現時,會指明flag告訴clone()共享父進程的虛擬內存空間,以加快進程的創建過程。

上下文切換

概念:進程創建好之後,內核必須有能力掛起正在CPU運行的進程,並切換其他進程到CPU上執行。這種過程被稱作為進程切換、任務切換或者上下文切換。

這個過程包括硬體上下文切換和軟體上下文切換。

硬體上下文切換:主要通過彙編指令far jmp操作,將一個進程的描述符指針,替換為另一個進程描述符指針,並改變 eip、cs、esp等寄存器,從而改變程序的執行流。

軟體上下文切換

    1. 內存地址的切換,切換頁全局目錄,安裝新的地址空間。
    2. 內核態堆棧的切換。

進程切換髮生在schedule()函數中,內核提供了一個 need_resched 的標誌,來表明是否需要重新執行一次調度。當某個進程被搶佔或者更高優先順序的進程進入可執行狀態時,內核都會設置這個標誌。那什麼時候,內核會檢查這個標誌,來重新調度程序呢?那就是從內核態切換成用戶態,或者從中斷返回時。

執行系統調用時,會經歷用戶態與內核態的切換以及中斷返回。也就是說,每一次執行系統調用,比如fork、read、write等,都可能觸發內核調度新進程。

init進程

Linux進程是以樹形的結構組織的,每一個進程都有唯一的進程標識,簡稱PID。PID為1的常常是init進程,它相對於普通進程來說,有三個特殊之處:

  • 它沒有默認的信號處理,因此如果發信號給init進程的話,會被它忽略掉,除非顯示的註冊過該信號。如果熟悉docker的同學,會觀察到docker化的進程,如果按ctrl-c是沒啥反應的,因為docker化的進程它們有獨立的pid命名空間,第一個新創出的進程,pid為1,是不會理會kill signal信號的。
  • 如果一個進程退出時,它還有子進程存在,被稱為孤兒進程,那麼這些孤兒進程會重新成為init進程的子進程,轉由init進程來管理這些子進程,包括回收退出狀態、從進程表中移除等。
  • 如果init進程跪了,那麼所有用戶進程都會被退出。

與孤兒進程類似的是殭屍進程,清理殭屍進程的方法,是殺掉不斷產生殭屍進程的父進程,然後這些殭屍進程會稱為孤兒進程,由init進程接管、回收。

進程應用

進程間通信

談到通信我們都知道,通信的雙方必須存在一種可以承載信息的介質,對於計算機之間的通信來說,這種介質可以是雙絞線、光纖、電磁波。那對於進程間的通信呢?這種介質有哪些呢?在Linux中,滿足這種條件的介質,可以是:

  • 操作系統提供的內存介質,比如共享內存、管道、信號量等。
  • 文件系統提供的文件介質,比如UNIX域套接字、文件等
  • 網路設備提供的網卡介質,比如socket套接字。
  • 等等。

對於操作系統提供的介質來說,常用的有

  • 信號量機制
  • 匿名管道(僅限父子進程)與有名管道
  • SysV和POSIX
    • 消息隊列
    • 共享內存
  • 等等

優缺點介紹:

  • 信號量:不能傳遞複雜消息,只能用來同步
  • 匿名管道:容量有限速度較慢,只有父子進程能通訊
  • 有名管道:任何進程間都能通訊,但速度較慢。
  • 消息隊列:容量受到系統限制,有隊列的特性,先進先出。
  • 共享內存:速度快,可以控制容量大小,但需要進行同步操作。

它們的用法相對較為簡單,在需要使用時查閱相關文檔即可,共享內存是比較常用的做法。

信號處理

信號最早是在Unix系統被引入,它主要用於進程間的通信,同時進程可以主動註冊信號處理函數,來檢測或者應對系統發生的事件。比如當進程訪問非法地址空間時,進程會收到操作系統發送SIGSEGV信號,默認情況下的處理方式是:該進程會退出並且把堆棧dump出來,簡稱出core。

總的來說信號的主要目的:

  • 讓進程知道已經發生的特定事件。
  • 強迫進程處理這個特定事件。

目前Linux支持的信號,已經默認的處理函數,可以在man手冊中查到,截圖如下:

比較常見的信號,解釋如下:

  • SIGCHLD: 一個進程通過 fork 函數創建,當它結束時,會向父進程發送SIGCHLD信號。
  • SIGHUP: 掛起信號,當檢測到控制終端,或者控制進程死亡時。比如用戶退出shell終端時,該shell啟動的所有進程,都會收到這個信號,默認是終止進程。
  • SIGINT:當用戶按下Ctrl+C組合鍵時,終端會向該進程發送此信號,默認是終止進程。
  • SIGKILL: 常用的kill -9指令會發送該信號,無條件終止進程,本信號無法被忽略。
  • SIGSEGV: 進程訪問了非法的內存地址,默認行為是終止進程併產生core堆棧。
  • SIGTERM: 程序結束信號,該信號可以被阻塞和忽略,通常標識程序正常退出。
  • SIGSTOP: 停止進程的執行,該信號不能被忽略,默認動作為暫停進程。
  • SIGPIPE: 當往一個寫端關閉的管道或socket連接中連續寫入數據時會引發SIGPIPE信號,引發SIGPIPE信號的寫操作將設置errno為EPIPE。在TCP通信中,當通信的雙方中的一方close一個連接時,若另一方接著發數據,根據TCP協議的規定,會收到一個RST響應報文,若再往這個伺服器發送數據時,系統會發出一個SIGPIPE信號給進程,告訴進程這個連接已經斷開了,不能再寫入數據。

其實在項目開發中,常常會和信號處理打交道。比如在處理程序優雅退出時,一般需要捕獲SIGINT、SIGPIPE、SIGTERM等信號,以合理的釋放資源、處理剩餘鏈接等,防止程序意外crash,導致的一些問題。

後台進程與守護進程

在接觸Linux系統時,常常會遇到後台進程與守護進程,這裡簡單的介紹一下這兩種進程。

  • 後台進程:通常情況下,進程是放置在前台執行,並佔據當前shell,在進程結束前,用戶無法再通過shell做其他操作。對於那些沒有交互的進程,可以將其放在後台啟動,也就是啟動時加一個 &,那麼在該進程運行期間,我們仍是可以通過shell操作其他命令。不過當shell退出時,該後台進程也會退出
  • 守護進程:如果一個進程總是以後台的方式啟動,並且不能受shell退出的影響而退出,那麼可以將其改造為守護進程。後續進程是系統長期運行的後台進程,比如mysqld、nginx等常見的服務進程。

那麼這兩者有啥區別呢?

  • 守護進程已經完全脫離終端,而後台進程並未完全脫離終端,即後台進程仍是可以輸出到終端的。
  • 在終端關閉時,後台進程會收到信號退出,但是守護進程則不會。

舉個例子,通過./spider &在後台執行抓取任務,但沒過多久,終端自動斷開,導致spider進程中斷退出。

在進一步了解守護進程之前,還需要了解一些會話和進程組的概念。

  • 進程組:由一系列相互關聯的進程組成,由PGID來標識,一般是進程組創建進程的PID。進程組的存在是為了方便對多個相關進程執行統一的操作,比如發送信號量給統一進程組的所有進程。
  • 會話:由若干個進程組組成,每一個進程組從屬於一個會話,一個會話對應著一個控制終端,該終端為會話所有進程組的進程所共用,其中只有前台進程組才可以與終端交互。

那如何實現一個守護進程呢?

  1. 在後台運行:fork出子進程A,當前進程退出,保留子進程A。
  2. 脫離控制終端:目的是擺脫終端的影響,通過setsid()重新為子進程A設置新的會話。
  3. 禁止子進程A重新打開終端:因為設置新會話之後的進程A,是進程組的組長,所以它是有能力重新申請打開一個控制終端。通過再次fork子進程B,並退出進程A,B不再是進程組組長,也無法打開新的終端。
  4. 關閉已打開的文件描述符、改變工作目錄等等。
  5. 處理SIGCHILD信號:由於守護進程一般是長期運行的進程,當產生子進程時,需要處理子進程退出時發送的SIGCHILD信號,不然子進程就會變成殭屍進程,從而佔據系統資源。

總結來說,守護進程是一種長期運行於後台的進程,它脫離了控制終端,不受用戶終端退出的影響。可以通過nohup操作,將一個進程變成守護進程執行。比如nohup ./spider &,這樣即使終端斷開後,spider進程仍會繼續執行。

淺談nginx多進程模型

nginx是一款高性能的Web伺服器,由於它優秀的性能、成熟的社區、完善的文檔,受到廣大開發者的喜愛和支持。它的高性能與其架構是分不開的,nginx的框架如下圖所示:

nginx架構圖-來源於網上

Nginx是經典的多進程模型,它啟動以後以守護進程的方式在後台運行,後台進程包含一個master進程,和多個worker進程。其中master進程相當於控制進程,有以下作用:

  • 接收外界信號執行指令,包括配置載入、向worker髮指令、優雅退出等等。
  • 維護worker進程的狀態,當worker進程退出後,自動啟動新的worker。

其中 master 進程支持的信號處理如下:

  • TERM、INT:快速退出
  • QUIT:優雅退出
  • HUP: 變更配置,用新配置啟動worker,優雅關閉老的worker等。
  • USR1: 重新打開日誌文件
  • USR2: 升級二進位文件(nginx升級)
  • WINCH: worker進程的優雅退出

單個worker進程也支持信號處理,包括:

  • TERM、INT: 快速退出
  • QUIT: 優雅退出
  • USR1: 重新打開日誌文件
  • WINCH: 終端調試等

worker進程基於非同步非阻塞的模式處理每個請求,這種非阻塞的模式,大大提高了worker進程處理請求的速度。為了儘可能的提高性能,nginx對每個worker進程設置了CPU的親和性,盡量把worker進程綁定在指定的CPU上執行,以減少上下文切換帶來的開銷。由於這種綁核的模式,一般推薦worker進程的數目,為CPU的核數。

nginx使用了master<->worker這種多進程的模型,有哪些好處呢?

  • worker進程間很少共享資源,在處理各自請求時,幾乎不用加鎖,省掉了鎖帶來的開銷。
  • worker進程間異常不會相互影響,一個進程掛掉之後,其他進程還在工作,可以提高服務的穩定性。
  • 儘可能的利用多核特性,最大化利用系統資源。

更多內容來源於:如何理解和應用Linux進程模型?

常用工具介紹

Linux內置了許多工具,用於排查系統問題和查看資源使用情況,這裡簡單介紹和進程有關的幾個工具。

ps: 查看進程的基本屬性

lsof: 查看進程打開的文件情況

有兩個場景:

  • 場景一:機器上一個文件大小不停的增長,導致磁碟空間一次又一次的爆滿,如果這時候你想把寫文件的罪魁禍首進程找到,那應該怎麼做呢?
  • 場景二:發現磁碟已經快滿了,通過rm -f 刪除一些大文件,但磁碟空間並沒有明顯減少,這個時候應該怎麼做呢?

對於這些場景,我們可以藉助lsof命令,

  • 對於場景一來說:可以查看該文件被哪個進程打開,找到罪魁禍首進程,然後對其處理。
  • 對於場景二來說:如果這個文件被其他進程打開,通過rm -f是無法真正刪掉一個文件的,還需要殺掉打開該文件的進程,以關閉文件描述符,那麼文件才能真正被清理。

lsof的常見用法如下:

  • 查看特定用戶打開的文件列表:lsof -u xxx
  • 查看特定埠打開的文件列表:lsof -i 8080
  • 查看特定埠範圍打開的文件列表:lsof -i :1-1024
  • 基於TCP或者UDP查看打開的文件列表:lsof -i udp
  • 查看特定進程打開的文件列表:lsof -p $pid
  • 查看打開特定文件的進程列表:lsof -t $file_name
  • 查看打開特定目錄的進程列表:lsof +D $file_path
  • 等等

netstat: 查看網路連接情況

strace: 查看系統調用情況

推薦閱讀:

TAG:Linux | 進程 | Nginx |