20天持續壓測，告訴你雲存儲性能哪家更強？

01-29

上個月，筆者對國內兩大雲廠商（阿里雲和騰訊雲）的雲伺服器、雲資料庫和雲存儲三種產品做了性能評測，算是對兩家的部分計算和存儲產品（資料庫也可視作一種存儲形式）做了簡要對比。雖然評測文章在 V2EX 等社區的反饋還不錯，但確實還存在不少缺失。除了不好評測的售後服務等指標外，還缺少了對其他使用更為普遍的雲存儲產品。

因此，筆者近期抽空完善《雲計算產品性能測試指南》，新加入了對兩種雲存儲產品（雲盤）的性能和價格對比。本次測試總計耗時 20 多天，測試的強度和時間都非常充分，本文將記錄此次測試的過程和對比結果。

哪兩種雲盤？

雲存儲類別下，目前兩大雲產商提供了以下產品：

塊存儲（阿里雲、騰訊雲）
文件存儲（阿里雲）
對象存儲（阿里雲、騰訊雲）
內容分發網路（阿里雲、騰訊雲）
表格存儲（阿里雲）
歸檔存儲（阿里雲）

可以看出，阿里雲的雲存儲產品類別更為豐富，雲計算先行者的優勢突出。

在上述六種產品中，筆者上次已經對比過對象存儲。內容分發網路（CDN）測試起來花的時間又特別長，進行有意義的比較需要的數據特別大，而且目前沒找到自動化的工具，因此這次不考慮測試 CDN（歡迎推薦可以自動化測試 CDN 性能的工具）。

那麼剩下的兩家均提供的產品，就是塊存儲（Block Storage）了。塊存儲，簡單來說就是提供了塊設備存儲的介面，一個硬碟就是一個塊設備。在雲產商提供的產品中，所謂的普通雲盤、高效雲盤、SSD 雲盤，都是塊存儲設備。

如果你對存儲類型不太熟悉，建議閱讀以下文章：

從OpenStack的角度看塊存儲的世界

三種存儲類型比較-文件、塊、對象存儲

知乎話題：塊存儲、文件存儲、對象存儲這三者的本質差別是什麼？

上一篇評測文章中，其實也對普通雲盤的性能進行了對比，但包含在雲伺服器性能測試中。對於選擇普通雲盤做對比，有的讀者也提出了異議。

確實，企業用戶一般不會用伺服器的本地存儲保持核心數據，因為本地磁碟的數據遷移困難，而自建 raid5 磁碟陣列的數據持久性頁不高，因此大多採用 SSD 雲盤或高效雲盤等分散式存儲成為主流選擇。一線雲廠商比拼的也主要是分散式塊存儲，如 AWS 的 EBS 就是一種分散式塊存儲設備。

為了較為完整地比較兩大廠商的塊存儲產品，筆者近期對兩家的高效雲盤和 SSD 雲盤進行了壓測，算是對上一篇的補充。期間犯了不少錯，多花了不少冤枉錢，不過總算最終得出了比較可信、直觀的數據。

廠商預期的性能

在介紹測試詳情之前，先來看一看廠商對自家產品的描述。

在各自的產品介紹頁面（騰訊雲、阿里雲），均給出了詳細的性能指標及具體的計算公式。

阿里云：
- 高效雲盤
  - IOPS：min(1000 + 6 * 容量, 3000)
  - 吞吐量：min(50 + size * 0.1, 80)
  - 訪問時延：1-3ms
- SSD 雲盤
  - IOPS：min(30 * 容量, 20000)
  - 吞吐量：min(50 + size * 0.5, 256)
  - 訪問時延：1-3ms
騰訊云：
- 高效雲盤
  - IOPS：min(1500 + 容量 * 8, 4500)
  - 吞吐量：min(75 + size * 0.147, 130)
  - 訪問時延：< 3ms
- SSD 雲盤
  - IOPS：min(容量 * 24, 2400)
  - 吞吐量：min(150 + (容量 - 250) * 0.147, 260)
  - 訪問時延：< 3ms

其中：

IOPS：每秒讀寫(I/O)操作的次數，數值越高越好。
吞吐量：一般用MBPS，每秒傳輸的MB位元組數來衡量，下文用英文 Throughput 替代。
訪問時延：訪問時延，完成一個 I/O 請求所需的時間，下文用英文 Latency 替代。

上述三項指標中，兩家只給出了 Latency 的數值範圍。不過，這個可以說是最重要的性能指標。其他指標不變的情況下，Latency 為 1ms 的性能是 3ms 的 3 倍。

另外，從給出的計算公式中，無法直觀地比較 IOPS、TP。因此，筆者用繪製了雲盤性能與容量（volume）的關係圖。

上圖中，紅色虛線為騰訊云云盤，藍色實線為阿里云云盤。

由於騰訊雲的雲盤最大容量為 4000GB，而阿里云為 32678GB，但是為了方便查看，只繪製出了容量在 [0, 4000] 範圍內的性能數據。另外，在圖中以 Hybrid 代稱高效雲盤，下文同。

從上圖來看：

騰訊雲高效雲盤的預期性能遙遙領先於阿里雲，尤其是最低吞吐量都比阿里雲的峰值要高；
但是在 SSD 雲盤方面，阿里雲的預期性能優勢比較大，只有在容量 1TB 以上時才低於對手。

不過，以上只是廠商預期的性能數據，不代表產品的真實性能就是如此。產品實際表現如何，與預期性能差距有多大，還需要我們親自測試、使用才可得知。

測試準備工作

在開始測試之前，筆者在兩家產商分別購買了測試伺服器及雲盤。

測試所使用的虛擬機配置為：

CPU：4核 Intel Xeon
內存：4GB DDR3
操作系統：Ubuntu 14.04 64位。

選取的測試雲盤如下：

高效雲盤：50GB、400GB
SSD 雲盤：250GB、500GB

測試阿里雲的 500GB SSD 雲盤時碰到了兩個大杯具，首先是餘額不足導致測試程序中斷，一切重來。。第二個杯具和 SSD 雲盤的性能有關，具體下文中會提到。。。

下文中，筆者不會具體介紹測試步驟，只說明執行了哪些測試及測試結果，具體步驟請看此前在 Github 上分享的項目：CloudTesting/test_cbs。

執行哪些測試

一般來說，塊存儲性能主要看 IOPS、Throughput 和 Latency三個指標，廠商也大多提供這三個指標的峰值作為購買參考。

上一篇評測中，筆者就是使用 fio 對普通雲盤進行測試，對比了三個指標的差異。不過現在回過頭來看，測試的壓力還不夠大，使用的塊大小、隊列深度還不夠全，雖然最終結果差異或許並不會太大。

因此，這次針對高效雲盤（HDD+SSD）和 SSD 雲盤的測試，筆者將根據 SNIA 發布的企業級SSD評測規範（Solid State Storage Performance Test Specification Enterprise v1.1）進行，以下簡稱該規範為 PTS 。

SNIA 是存儲網路行業協會(Storage Networking Industry Association，SNIA)的簡稱，這是一個由廠商和大學成立的行業組織，致力於開發和推廣存儲系統標準。

除了 IOPS、Throughput 和 Latency 三項基礎測試外，PTS 還包含了以下五種測試：

Write Saturation (WSAT)：持續應用工作負載，測試性能隨著時間如何變化。
Demand Intensity Response Time Histograms (DIRTH)
Cross Stimulus Recovery (XSR)
Host Idle Recovery (HIR)：測試宿主機閑置時間對性能恢復的影響。
Enterprise Composite Workload (ECW)

SNIA 官方有提供測試服務，但是收費，而且也不適用於雲存儲設備。

因此，筆者選擇了一家雲計算公司根據 PTS 規範實現的自動化測試庫（代碼地址：cloudharmony/block-storage），其中包含了 IOPS、TP、Latency、WSAT 和 HIR 五類測試，其他的沒有實現。

SSD 雲盤的測試中沒有 WSAT 和 HIR 兩項，具體原因後面會提到。

注意，PTS 測試中所有 fio 命令的隊列深度均為 64。具體測試細節請看官方提供的 PDF 文件。

PTS 測試耗時長

根據 PTS 規範，每項 SSD 性能測試需要經過1、凈化、2、準備工作負載、3、進入穩態、4、測試等四個環節，因此整個測試過程用時非常長，而且雲盤容量越大，耗時越長。筆者在測試時，平均每塊雲盤大概花了 2 天的時間。由於各種原因，這次至少買了 10 塊雲盤做測試，因此也就有了標題中「 20 天持續壓測」的說法。**

以騰訊雲 500G SSD 雲盤的測試時間為例說明：

此次測試採用的是第三方提供的自動化測試庫，整個步驟都是可重複的，對測試數據有疑問的同學可自行驗證。在這裡說明下測試所需時間，是為了提示大家啟動測試程序後該幹嘛就幹嘛，同時保證賬戶中有充足的餘額（尤其是後者）。

在介紹測試結果之前，說明一下對兩家廠商測試過程的差異（雲盤均為直接格式化，未分區）。

騰訊雲由於不支持單獨購買按量付費的伺服器，因此開了 4 台 VM，每台配一種測試雲盤。
阿里雲支持單獨按量購買雲盤，因此只開了 2 台 VM，每台掛載 2 塊雲盤，測試時針對每個雲盤單獨啟動一個測試程序。

性能測試數據

經過漫長的時間，上周末終於完成了對 6 塊雲盤的 IOPS、TP、Latency、WSAT、HIR 五項測試。

測試數據大約 190MB，下載地址為：https://pan.baidu.com/s/1cL2jim，提取碼：3kh2。其中，文件夾的命名規律為：廠商_雲盤類型_容量。除了 aliyun_ssd_500x 和 aliyun_ssd_250x 外，每個文件夾下均有一個 report.pdf 文件，為測試程序自動生成，裡面包含了測試結果、數據和圖表。

另外，筆者用 Highcharts 製作了一些可交互圖表，可用來查看匯總後的各項數據。地址如下：塊存儲性能對比：以騰訊雲、阿里云為例。

阿里雲的一個大坑

筆者在本文撰寫快要結束時，看到阿里雲 SSD 雲盤的性能比預期的差很多，回頭去調查原因。這才猛然發現阿里雲 SSD雲盤必須搭配 I/O 優化實例才能給發揮最大性能。當時就想破口大罵。。。

踩過這個坑的朋友不知道有多少？

因此，之前的 SSD 雲盤數據（即 aliyun_ssd_500x 和 aliyun_ssd_250x 兩個文件夾下的數據）就不具備可比性了。筆者只好重開 ECS 進行測試，為了節約時間，SSD 雲盤將只測試 IOPS、Throughput、Latency 這三個基礎指標。

本文先對比高效雲盤，重新測試完後，過幾日再與大家分享具體的 SSD 雲盤性能對比。

高效雲盤性能對比

下面我們來看看高效雲盤的測試性能，與產商預期的性能值之間是否存在差異，差異又有多大。

先來回顧一下廠商預期的性能，請看下圖左邊部分。

上圖顯示，騰訊雲高效雲盤的預期性能遙遙領先於阿里雲，其中最低的吞吐量都比阿里雲的峰值要高。

但是真實測試數據如何？請看下面的測試結果。

基礎指標測試

首先是 50GB 容量的 IOPS、Throughput、Latency 三項指標的數據（可點擊圖片查看大圖，或查看互動式圖表）：

400GB 容量的性能對比（可點擊圖片查看大圖，或查看互動式圖表）：

圖註：RW Ratio 指的是 I/O 操作中的讀寫比例，0/100 表示順序寫, 100/0 表示順序讀。

從上述圖表對比來看，可以得出結論1：

在 50GB、400GB 兩個容量級別上，騰訊雲高效雲盤的各項性能指標表現均優於阿里雲，而且優勢也比較明顯。

接下來，我們比較一下測試值與預期值之間的差異。由於預期值都是理論情況下的峰值，我們從測試數據中提取出各自的峰值。

看完上面的數據，你至少會有這兩個疑惑：

騰訊雲的測試峰值怎麼接近預期值的兩倍？
阿里雲 400GB 高效雲盤的延遲怎麼那麼高，離預期的 1-3ms 差距很大？是不是數據有誤？

第一個疑惑，騰訊雲兩個容量的測試峰值均為預期值的兩倍。產品首頁中沒有直接說明，只能去翻產品文檔，最終在 CBS 使用約束頁面中找到了一段解釋：

產品文檔中承諾的IO性能，如1TB的SSD雲硬碟，隨機IOPS能達到24000IOPS。含義是讀寫可同時達到24000IOPS，4KB/8KB的 IO都可做到，16KB的IO大小，則無法做到24000（由於吞吐已經達到了260MB/s的限制）。

簡單來說，就是騰訊雲高效雲盤的讀寫操作可同時達到預期性能峰值（數據塊 16KB 以下）。這樣，騰訊雲的數據就可以解釋的通了。

筆者選擇的測試峰值是數據塊 512b、50/50 讀寫比例下的數據，這時讀寫均達到了預期的 IOPS 峰值，總 IOPS 接近預期峰值的 2 倍。而順序讀、順序寫的值都接近預期的峰值。

而阿里雲方面，讀寫無法同時達到預期性能峰值。

第二個疑惑，阿里雲 50GB 高效雲盤的 Latency 在正常範圍，怎麼 400GB 的就超標了？筆者一開始還以為數據錯了，為此重開了虛擬機，用 ioping 做了簡單的比對。結果如下圖：

重新測試之後，筆者確信了此前自動測試庫跑出的數據應該是沒問題的。至於高時延背後的原因，可能是「鄰居」比較多、IO 操作比較活躍吧。 Latency 的自動測試大概跑了 4 個多小時，重新測試時性能也沒有變化，阿里雲這個算不算違反了服務協議（SLA）呢？

解決上面的疑惑之後，我們可以得出以下結論：

結論2：騰訊雲達到了預期的性能；阿里雲部分沒有達到，400GB 容量的時延過高。
結論3：騰訊雲高效雲盤的時延在 1ms 以下，IOPS、吞吐量的優勢更加突出。

WSAT、HIR

下面來看 WSAT 和 HIR 測試的情況。上面提到，WSAT測試是指在持續應用工作負載，測試性能隨著時間如何變化。

WSAT 自動測試最終得出的是一段時間內，IOPS 的平均值，結果如下：

上述數據，與兩家廠商預期的峰值非常接近，說明兩家的高效雲盤能夠長時間達到 IOPS 性能峰值。但是這裡看不出性能如何隨時間變化，必須從生成的 PDF 中查找，筆者截圖如下：

從上述 4 張趨勢圖來看，可以得出結論4：

兩家高效雲盤的 IOPS 表現均比較穩定，幾乎呈一條直線，只有阿里雲的 400GB 雲盤有些略微波動。

最後來比較 HIR 測試的結果。HIR 主要測試宿主機閑置時間對性能恢復的影響。

從上述 4 張趨勢圖來看，可以得出結論5：

容量越大，似乎閑置時間對性能恢復的影響越明顯；阿里雲 400GB 高效雲盤的性能波動受閑置時間影響較明顯。

綜合上述五項測試的結果，可以認為騰訊雲高效雲盤的綜合性能應該是阿里雲高效雲盤的2倍以上（結論6）。

加入價格因素

延續上一篇的風格，在比較完性能指標之後，我們再加入價格因素。

上圖中，騰訊雲高效雲盤按量計費的價格，為根據官方產品頁面給出的定價計算，包年包月價格為單獨購買雲盤時系統顯示價格；阿里雲高效雲盤的價格根據其給出的費用規則計算。這裡說明一點，騰訊雲在單獨購買雲盤時，還只有包年包月這種模式，不夠靈活。

從上圖對比來看：

結論7：騰訊雲和阿里雲的包年包月價格相同；
結論8：騰訊雲的按量計費價格比阿里雲貴，約為 1.8 倍；
結論9：阿里雲按量計費與包年包月的價格相差很小。

一般來說，數據盤中存儲的多為持久性數據，以按量付費方式購買的企業用戶應該並不多。所以，在包年包月模式下，騰訊雲高效雲盤的性價比非常高。

不過由於阿里雲兩種模式之間價格差異小，使得用戶在雲盤使用方式上更加靈活。在筆者看來，按量計費和包年包月的核心並不在如何收費，而在於雲計算產品的使用方式。價格差會使用戶傾向於以某一種方式使用產品，而不是根據有業務情況自由選擇。

結語

上文中，我們分別從 IOPS、Throughput、Latency、WSAT、HIR 五項測試指標，對騰訊雲、阿里雲的 50GB、400GB 容量的高效雲盤進行了性能對比。

經過對測試數據進行分析，筆者主要得出了以下結論：

騰訊雲高效雲盤的各項基礎性能指標均優於阿里雲，且優勢明顯；
騰訊雲高效雲盤達到了預期的性能，而阿里雲部分雲盤沒有達到，400GB 容量的時延過高；
阿里雲大容量高效雲盤的 IOPS 性能受宿主機閑置影響較大；
包年包月模式下，騰訊雲高效雲盤的性價比非常高；
阿里雲高效雲盤不同計費模式下費用差別不大，選擇時靈活性更高。

如果你正在考慮採購這兩家產商的高效雲盤，希望本文對你有幫助。如果你考慮的廠商不是騰訊雲或阿里雲，可以參考本文中使用的自動測試庫進行全面測試。不過別忘了，要想獲得最大的雲盤性能，則必須購買相應廠商的雲伺服器，否則雲應用的性能反而可能下降。關於如何測試雲伺服器的性能，請看筆者上一篇評測。

下一篇筆者將對比騰訊雲和阿里雲 SSD 雲盤的性能。

參考鏈接

雲存儲的四大優勢
從OpenStack的角度看塊存儲的世界
SNIA SSS Performance Test Specification (PTS) Testing Service
網路存儲協會發布企業級SSD評測規範
阿里云：雲盤參數和性能測試方法
阿里云：雲盤的特點和應用場景
騰訊云：如何衡量雲硬碟的性能
騰訊云：CBS 應用場景
騰訊云：CBS 產品分類及對比
塊存儲測試套件
Key storage performance metrics for virtual environments
Pro Tips For Storage Performance Testing
Understanding IOPS, Latency and Storage Performance
Amazon EBS 卷類型
AWS系列之三使用EBS
AWS 存儲測試數據