深入淺出開源性能測試工具Locust（使用篇1）

02-03

考慮到技術類長文的閱讀效果不佳，故拆成三篇推送。

在《【LocustPlus序】漫談服務端性能測試》中，我對服務端性能測試的基礎概念和性能測試工具的基本原理進行了介紹，並且重點推薦了Locust這一款開源性能測試工具。然而，當前在網路上針對Locust的教程極少，不管是中文還是英文，基本都是介紹安裝方法和簡單的測試案例演示，但對於較複雜測試場景的案例演示卻基本沒有，因此很多測試人員都感覺難以將Locust應用到實際的性能測試工作當中。

經過一段時間的摸索，包括通讀Locust官方文檔和項目源碼，並且在多個性能測試項目中對Locust進行應用實踐，事實證明，Locust完全能滿足日常的性能測試需求，LoadRunner能實現的功能Locust也基本都能實現。

本文將從Locust的功能特性出發，結合實例對Locust的使用方法進行介紹。考慮到大眾普遍對LoadRunner比較熟悉，在講解Locust時也會採用LoadRunner的一些概念進行類比。

概述

先從Locust的名字說起。Locust的原意是蝗蟲，原作者之所以選擇這個名字，估計也是聽過這麼一句俗語，「蝗蟲過境，寸草不生」。我在網上找了張圖片，大家可以感受下。

而Locust工具生成的並發請求就跟一大群蝗蟲一般，對我們的被測系統發起攻擊，以此檢測系統在高並發壓力下是否能正常運轉。

在《【LocustPlus序】漫談服務端性能測試》中說過，服務端性能測試工具最核心的部分是壓力發生器，而壓力發生器的核心要點有兩個，一是真實模擬用戶操作，二是模擬有效並發。

在Locust測試框架中，測試場景是採用純Python腳本進行描述的。對於最常見的HTTP(S)協議的系統，Locust採用Python的requests庫作為客戶端，使得腳本編寫大大簡化，富有表現力的同時且極具美感。而對於其它協議類型的系統，Locust也提供了介面，只要我們能採用Python編寫對應的請求客戶端，就能方便地採用Locust實現壓力測試。從這個角度來說，Locust可以用於壓測任意類型的系統。

在模擬有效並發方面，Locust的優勢在於其摒棄了進程和線程，完全基於事件驅動，使用gevent提供的非阻塞IO和coroutine來實現網路層的並發請求，因此即使是單台壓力機也能產生數千並發請求數；再加上對分散式運行的支持，理論上來說，Locust能在使用較少壓力機的前提下支持極高並發數的測試。

腳本編寫

編寫Locust腳本，是使用Locust的第一步，也是最為重要的一步。

簡單示例

先來看一個最簡單的示例。

在這個示例中，定義了針對http://debugtalk.com網站的測試場景：先模擬用戶登錄系統，然後隨機地訪問首頁（/）和關於頁面（/about/），請求比例為2:1；並且，在測試過程中，兩次請求的間隔時間為1~5秒間的隨機值。

那麼，如上Python腳本是如何表達出以上測試場景的呢？

從腳本中可以看出，腳本主要包含兩個類，一個是WebsiteUser（繼承自HttpLocust，而HttpLocust繼承自Locust），另一個是WebsiteTasks（繼承自TaskSet）。事實上，在Locust的測試腳本中，所有業務測試場景都是在Locust和TaskSet兩個類的繼承子類中進行描述的。

那如何理解Locust和TaskSet這兩個類呢？

簡單地說，Locust類就好比是一群蝗蟲，而每一隻蝗蟲就是一個類的實例。相應的，TaskSet類就好比是蝗蟲的大腦，控制著蝗蟲的具體行為，即實際業務場景測試對應的任務集。

這個比喻可能不是很準確，接下來，我將分別對Locust和TaskSet兩個類進行詳細介紹。

class HttpLocust(Locust)

在Locust類中，具有一個client屬性，它對應著虛擬用戶作為客戶端所具備的請求能力，也就是我們常說的請求方法。通常情況下，我們不會直接使用Locust類，因為其client屬性沒有綁定任何方法。因此在使用Locust時，需要先繼承Locust類，然後在繼承子類中的client屬性中綁定客戶端的實現類。

對於常見的HTTP(S)協議，Locust已經實現了HttpLocust類，其client屬性綁定了HttpSession類，而HttpSession又繼承自requests.Session。因此在測試HTTP(S)的Locust腳本中，我們可以通過client屬性來使用Python requests庫的所有方法，包括GET/POST/HEAD/PUT/DELETE/PATCH等，調用方式也與requests完全一致。另外，由於requests.Session的使用，因此client的方法調用之間就自動具有了狀態記憶的功能。常見的場景就是，在登錄系統後可以維持登錄狀態的Session，從而後續HTTP請求操作都能帶上登錄態。

而對於HTTP(S)以外的協議，我們同樣可以使用Locust進行測試，只是需要我們自行實現客戶端。在客戶端的具體實現上，可通過註冊事件的方式，在請求成功時觸發events.request_success，在請求失敗時觸發events.request_failure即可。然後創建一個繼承自Locust類的類，對其設置一個client屬性並與我們實現的客戶端進行綁定。後續，我們就可以像使用HttpLocust類一樣，測試其它協議類型的系統。

原理就是這樣簡單！

在Locust類中，除了client屬性，還有幾個屬性需要關注下：

task_set: 指向一個TaskSet類，TaskSet類定義了用戶的任務信息，該屬性為必填；
max_wait/min_wait: 每個用戶執行兩個任務間隔時間的上下限（毫秒），具體數值在上下限中隨機取值，若不指定則默認間隔時間固定為1秒；
host：被測系統的host，當在終端中啟動locust時沒有指定--host參數時才會用到；
weight：同時運行多個Locust類時會用到，用於控制不同類型任務的執行權重。

測試開始後，每個虛擬用戶（Locust實例）的運行邏輯都會遵循如下規律：

先執行WebsiteTasks中的on_start（只執行一次），作為初始化；
從WebsiteTasks中隨機挑選（如果定義了任務間的權重關係，那麼就是按照權重關係隨機挑選）一個任務執行；
根據Locust類中min_wait和max_wait定義的間隔時間範圍（如果TaskSet類中也定義了min_wait或者max_wait，以TaskSet中的優先），在時間範圍中隨機取一個值，休眠等待；
重複2~3步驟，直至測試任務終止。

class TaskSet

再說下TaskSet類。

性能測試工具要模擬用戶的業務操作，就需要通過腳本模擬用戶的行為。在前面的比喻中說到，TaskSet類好比蝗蟲的大腦，控制著蝗蟲的具體行為。

具體地，TaskSet類實現了虛擬用戶所執行任務的調度演算法，包括規劃任務執行順序（schedule_task）、挑選下一個任務（execute_next_task）、執行任務（execute_task）、休眠等待（wait）、中斷控制（interrupt）等等。在此基礎上，我們就可以在TaskSet子類中採用非常簡潔的方式來描述虛擬用戶的業務測試場景，對虛擬用戶的所有行為（任務）進行組織和描述，並可以對不同任務的權重進行配置。

在TaskSet子類中定義任務信息時，可以採取兩種方式，@task裝飾器和tasks屬性。

採用@task裝飾器定義任務信息時，描述形式如下：

採用tasks屬性定義任務信息時，描述形式如下：

在如上兩種定義任務信息的方式中，均設置了權重屬性，即執行test_job2的頻率是test_job1的兩倍。

若不指定執行任務的權重，則相當於比例為1:1。

在TaskSet子類中除了定義任務信息，還有一個是經常用到的，那就是on_start函數。這個和LoadRunner中的vuser_init功能相同，在正式執行測試前執行一次，主要用於完成一些初始化的工作。例如，當測試某個搜索功能，而該搜索功能又要求必須為登錄態的時候，就可以先在on_start中進行登錄操作；前面也提到，HttpLocust使用到了requests.Session，因此後續所有任務執行過程中就都具有登錄態了。

腳本增強

掌握了HttpLocust和TaskSet，我們就基本具備了編寫測試腳本的能力。此時再回過頭來看前面的案例，相信大家都能很好的理解了。

然而，當面對較複雜的測試場景，可能有的同學還是會感覺無從下手；例如，很多時候腳本需要做關聯或參數化處理，這些在LoadRunner中集成的功能，換到Locust中就不知道怎麼實現了。可能也是這方面的原因，造成很多測試人員都感覺難以將Locust應用到實際的性能測試工作當中。

其實這也跟Locust的目標定位有關，Locust的定位就是small and very hackable。但是小巧並不意味著功能弱，我們完全可以通過Python腳本本身來實現各種各樣的功能，如果大家有疑問，我們不妨逐項分解來看。

在LoadRunner這款功能全面應用廣泛的商業性能測試工具中，腳本增強無非就涉及到四個方面：

關聯
參數化
檢查點
集合點

先說關聯這一項。在某些請求中，需要攜帶之前從Server端返回的參數，因此在構造請求時需要先從之前請求的Response中提取出所需的參數，常見場景就是session_id。針對這種情況，LoadRunner雖然可能通過錄製腳本進行自動關聯，但是效果並不理想，在實際測試過程中也基本都是靠測試人員手動的來進行關聯處理。

在LoadRunner中手動進行關聯處理時，主要是通過使用註冊型函數，例如web_reg_save_param，對前一個請求的響應結果進行解析，根據左右邊界或其它特徵定位到參數值並將其保存到參數變數，然後在後續請求中使用該參數。採用同樣的思想，我們在Locust腳本中也完全可以實現同樣的功能，畢竟只是Python腳本，通過官方庫函數re.search就能實現所有需求。甚至針對html頁面，我們也可以採用lxml庫，通過etree.HTML(html).xpath來更優雅地實現元素定位。

然後再來看參數化這一項。這一項極其普遍，主要是用在測試數據方面。但通過歸納，發現其實也可以概括為三種類型。

循環取數據，數據可重複使用：e.g. 模擬3用戶並發請求網頁，總共有100個URL地址，每個虛擬用戶都會依次循環載入這100個URL地址；
保證並發測試數據唯一性，不循環取數據：e.g. 模擬3用戶並發註冊賬號，總共有90個賬號，要求註冊賬號不重複，註冊完畢後結束測試；
保證並發測試數據唯一性，循環取數據：模擬3用戶並發登錄賬號，總共有90個賬號，要求並發登錄賬號不相同，但數據可循環使用。

通過以上歸納，可以確信地說，以上三種類型基本上可以覆蓋我們日常性能測試工作中的所有參數化場景。

在LoadRunner中是有一個集成的參數化模塊，可以直接配置參數化策略。那在Locust要怎樣實現該需求呢？

答案依舊很簡單，使用Python的list和queue數據結構即可！具體做法是，在WebsiteUser定義一個數據集，然後所有虛擬用戶在WebsiteTasks中就可以共享該數據集了。如果不要求數據唯一性，數據集選擇list數據結構，從頭到尾循環遍歷即可；如果要求數據唯一性，數據集選擇queue數據結構，取數據時進行queue.get()操作即可，並且這也不會循環取數據；至於涉及到需要循環取數據的情況，那也簡單，每次取完數據後再將數據插入到隊尾即可，queue.put_nowait(data)。

最後再說下檢查點。該功能在LoadRunner中通常是使用web_reg_find這類註冊函數進行檢查的。在Locust腳本中，處理就更方便了，只需要對響應的內容關鍵字進行assert xxx in response操作即可。

針對如上各種腳本增強的場景，我也通過代碼示例分別進行了演示。但考慮到文章中插入太多代碼會影響到閱讀，因此將代碼示例部分剝離了出來，如有需要請查看《深入淺出開源性能測試工具Locust（腳本增強）》。

歡迎關注我的個人博客和微信公眾號。

個人博客: DebugTalk
微信公眾號: DebugTalk