MySQL時間序列存儲引擎的設計與實現

02-02

當我們使用MySQL的時候，經常感慨多引擎下數據管理的靈活。不論是innobase這樣帶有ACID特性的數據引擎後端，還是black hole這樣吃掉數據什麼也不做的數據引擎後端，都在不同場合發揮著自己的作用。

享受著各種存儲引擎帶來的便利時，我們也注意到MySQL的存儲引擎開發在國內還是一片藍海。畢竟這種以插件方式載入到MySQL的數據後端，是一個較深涉及到底層的領域，資料庫底層開發在國內也只有一少部分開發者走在這條路上。這不能不說是一個遺憾的事情。

攜程技術保障中心的MySQL時間序列存儲引擎緣起於一次討論，討論的議題是關於哪個時間序列資料庫更適合攜程環境。在這次日常的自由討論中，有人突發奇想的提出，我們是否可以開發一個MySQL的時間序列存儲引擎？沒有已有的時間序列數據部署的繁瑣，沒有那些各具特色的介面調用，不需要熟悉新的系統，還是以SQL的方式來進行數據的訪問。

首先，讓我們看看OpenTSDB是什麼樣的情況。下圖便是OpenTSDB的部署與運行圖示。OpenTSDB的後端存儲是HBASE，需要在各個server上部署信息收集的前端，通過dashboard展示信息。對於現有的時間序列資料庫，每一個都有自己的部署與運行方案。而這些方案並不具備架構上的通用性。

我們所期望的架構是除了底層的存儲組件不同，對於MySQL的用戶來說沒有什麼不同。已有的大部分運維經驗（HA、複製、備份等等）和已有的開發經驗（插入、刪除和更新的操作）都可以繼承自之前的積累，這是任何一個使用MySQL的公司所希望的情況。就如下圖所展示的架構，對於上層用戶來說，感覺不到太多的變化。用戶可以通過標準的SQL編寫自己的應用客戶端來完成數據的採集和展示，提高靈活性。

經過以上的考量，產生了我們的試驗產品，存儲引擎CFL（ctrip fast log），該引擎能夠以快速的日誌方式進行數據的記錄。其完成後就如下圖所示，滿足之前所設想的種種情況。

1、技術介紹

從層次結構來看，MySQL的存儲引擎分為兩個部分。一是實現存儲功能相關的組件，該層提供存儲引擎的具體功能（增刪改查），我們稱之為功能層；一是和MySQL插件介面對接的組件，該層將MySQL的功能調用轉換為存儲引擎的功能調用，我們稱之為介面層。如下圖所示，資料庫的操作（諸如增刪改查等操作）將通過引擎管理層達到存儲引擎的介面層，再由介面層到達功能層。

功能層

功能層是存儲引擎的核心，由於設計目標的不同，存儲引擎的功能層所提供的功能也是不同的。比如innobase引擎的功能層，提供了事務ACID/數據存儲/元信息管理/MVCC等一系列功能，提供完整的資料庫功能；再如CSV存儲引擎，僅提供字元類型的行存儲。這些不同功能的存儲引擎組件，在MySQL的框架下，提供多種多樣的服務。

介紹攜程時間序列存儲引擎的功能層將從兩個主要方面介紹。一是功能層的架構，也就是運行時涉及到的對象和這些對象的作用；一是進行持久化的存儲，該部分將說明在文件層面，數據是如何存儲的。

架構

CFL的架構設計目標是儘可能的提高數據的插入效率，因此並行處理的想法需要貫穿始終。其機製為，不同會話並行的將數據向表對象中插入；表對象通過緩衝區保存插入的數據，當緩衝區寫滿之後，緩衝區加入磁碟寫入隊列，通過專門的寫盤線程並發的寫入磁碟。

下圖為攜程時間序列存儲引擎的架構：

存儲

在設計存儲的時候，根據時序資料庫的特點，首先考慮的是插入的效率，然後是快速的故障恢復。針對插入效率，在設計數據結構時，採用嚴格的順序寫入策略，以此來保證連續插入的效率。這樣不論在傳統硬碟還是在SSD硬碟上，都可以高效的寫入。針對快速故障恢復，通過控制寫入順序（依次寫入數據、索引和控制信息），實現快速的恢復。最後考慮實現上的簡易性，採用索引和數據分別存儲的方式，降低在同一文件中進行存儲管理的控制。