如何高效深入的閱讀Redis的源碼？

01-13

想利用空閑時間閱讀Redis源碼，又不知從何看起，請大俠指點！

找工作那會兒，看了黃建宏老師的《Redis設計與實現》，對redis的部分實現有了一個簡明的認識。在面試過程中，redis確實成為了面試官考核我的一個亮點，恰好以後的工作又與redis有著千絲萬縷的聯繫，於是就想趁著畢業前的這段時間把redis的源代碼研究一下，為以後的工作打個良好的基礎。

Redis簡介

redis全稱REmote DIctionary Server，是一個由Salvatore Sanfilippo寫的高性能key-value存儲系統，其完全開源免費，遵守BSD協議。Redis與其他key-value緩存產品（如memcache）有以下幾個特點。

Redis支持數據的持久化，可以將內存中的數據保存在磁碟中，重啟的時候可以再次載入進行使用。
Redis不僅僅支持簡單的key-value類型的數據，同時還提供list，set，zset，hash等數據結構的存儲。
Redis支持數據的備份，即master-slave模式的數據備份。

Redis的性能極高且擁有豐富的數據類型，同時，Redis所有操作都是原子性的，也支持對幾個操作合併後原子性的執行。另外，Redis有豐富的擴展特性，它支持publish/subscribe, 通知,key 過期等等特性。

Redis更為優秀的地方在於，它的代碼風格極其精簡，整個源碼只有23000行，很有利於閱讀和賞析！還在等什麼呢？Start！

如何獲取Redis源碼？

redis是完全開源的，其源代碼可以在直接在官網上獲取（目前最新版本是3.2.5）。執行以下指令：

cd ... // 這裡打開你存放redis的文件夾wget http://download.redis.io/releases/redis-3.2.5.tar.gztar zxvf redis-3.2.5.tar.gz

此時，進入解壓後的redis目錄下的src文件夾，redis的所有源代碼都存放在此。

[root@VM_123_20_centos redis-3.2.5]# cd src/[root@VM_123_20_centos src]# lsMakefile crc64.h mkreleasehdr.sh redis-cli.o sort.oMakefile.dep crc64.o multi.c redis-sentinel sparkline.cadlist.c db.c multi.o redis-server sparkline.hadlist.h db.o networking.c redis-trib.rb sparkline.oadlist.o debug.c networking.o redisassert.h syncio.cae.c debug.o notify.c release.c syncio.oae.h debugmacro.h notify.o release.h t_hash.cae.o dict.c object.c release.o t_hash.oae_epoll.c dict.h object.o replication.c t_list.cae_evport.c dict.o pqsort.c replication.o t_list.oae_kqueue.c endianconv.c pqsort.h rio.c t_set.cae_select.c endianconv.h pqsort.o rio.h t_set.oanet.c endianconv.o pubsub.c rio.o t_string.canet.h fmacros.h pubsub.o scripting.c t_string.oanet.o geo.c quicklist.c scripting.o t_zset.caof.c geo.h quicklist.h sds.c t_zset.oaof.o geo.o quicklist.o sds.h testhelp.hasciilogo.h help.h rand.c sds.o util.cbio.c hyperloglog.c rand.h sdsalloc.h util.hbio.h hyperloglog.o rand.o sentinel.c util.obio.o intset.c rdb.c sentinel.o valgrind.supbitops.c intset.h rdb.h server.c version.hbitops.o intset.o rdb.o server.h ziplist.cblocked.c latency.c redis-benchmark server.o ziplist.hblocked.o latency.h redis-benchmark.c setproctitle.c ziplist.ocluster.c latency.o redis-benchmark.o setproctitle.o zipmap.ccluster.h lzf.h redis-check-aof sha1.c zipmap.hcluster.o lzfP.h redis-check-aof.c sha1.h zipmap.oconfig.c lzf_c.c redis-check-aof.o sha1.o zmalloc.cconfig.h lzf_c.o redis-check-rdb slowlog.c zmalloc.hconfig.o lzf_d.c redis-check-rdb.c slowlog.h zmalloc.ocrc16.c lzf_d.o redis-check-rdb.o slowlog.ocrc16.o memtest.c redis-cli solarisfixes.hcrc64.c memtest.o redis-cli.c sort.c

源代碼結構解析

看了上面src目錄下的文件，簡直讓人眼花繚亂。這裡不得不批評以下redis的作者啊，都沒有整理一下源代碼，統統都放在一個文件夾下。

正所謂不打無準備的仗，拿到源碼之後，我們首先要對這些文件進行一個分類，來規劃一下我們的閱讀順序。這裡介紹一下在網上看到的源碼閱讀方法（摘自redis源碼解析）。

自底向上：從耦合關係最小的模塊開始讀，然後逐漸過度到關係緊密的模塊。就好像寫程序的測試一樣，先從單元測試開始，然後才到功能測試。
從功能入手：通過文件名（模塊名）和函數名，快速定位到一個功能的具體實現，然後追蹤整個實現的運作流程，從而了解該功能的實現方式。
自頂向下：從程序的 main() 函數，或者某個特別大的調用者函數為入口，以深度優先或者廣度優先的方式閱讀它的源碼。

另外，按照黃健宏老師《如何閱讀 Redis 源碼？》一文中介紹的redis閱讀方法，基本上可以將上述文件進行合理的拆分，以便於對其進行一一攻破。

按照上圖對Redis源碼的模塊劃分，初步確定一下源碼的學習路線如下：

第一階段

閱讀Redis的數據結構部分，基本位於如下文件中：內存分配 zmalloc.c和zmalloc.h
動態字元串 sds.h和sds.c
雙端鏈表 adlist.c和adlist.h
字典 dict.h和dict.c
跳躍表 server.h文件裡面關於zskiplist結構和zskiplistNode結構，以及t_zset.c中所有zsl開頭的函數，比如 zslCreate、zslInsert、zslDeleteNode等等。
基數統計 hyperloglog.c 中的 hllhdr 結構，以及所有以 hll 開頭的函數

第二階段熟悉Redis的內存編碼結構

整數集合數據結構 intset.h和intset.c
壓縮列表數據結構 ziplist.h和ziplist.c

第三階段熟悉Redis數據類型的實現

對象系統 object.c
字元串鍵 t_string.c
列表建 t_list.c
散列鍵 t_hash.c
集合鍵 t_set.c
有序集合鍵 t_zset.c中除 zsl 開頭的函數之外的所有函數
HyperLogLog鍵 hyperloglog.c中所有以pf開頭的函數

第四階段熟悉Redis資料庫的實現

資料庫實現 redis.h文件中的redisDb結構，以及db.c文件
通知功能 notify.c
RDB持久化 rdb.c
AOF持久化 aof.c

以及一些獨立功能模塊的實現

發布和訂閱 redis.h文件的pubsubPattern結構，以及pubsub.c文件
事務 redis.h文件的multiState結構以及multiCmd結構，multi.c文件

第五階段熟悉客戶端和伺服器端的代碼實現

事件處理模塊 ae.c/ae_epoll.c/ae_evport.c/ae_kqueue.c/ae_select.c
網路鏈接庫 anet.c和networking.c
伺服器端 redis.c
客戶端 redis-cli.c
這個時候可以閱讀下面的獨立功能模塊的代碼實現
lua腳本 scripting.c
慢查詢 slowlog.c
監視 monitor.c

第六階段這一階段主要是熟悉Redis多機部分的代碼實現

複製功能 replication.c
Redis Sentinel sentinel.c
集群 cluster.c

其他代碼文件介紹

關於測試方面的文件有：

memtest.c 內存檢測
redis_benchmark.c 用於redis性能測試的實現。
redis_check_aof.c 用於更新日誌檢查的實現。
redis_check_dump.c 用於本地資料庫檢查的實現。
testhelp.c 一個C風格的小型測試框架。

一些工具類的文件如下：

bitops.c GETBIT、SETBIT 等二進位位操作命令的實現
debug.c 用於調試時使用
endianconv.c 高低位轉換，不同系統，高低位順序不同
help.h 輔助於命令的提示信息
lzf_c.c 壓縮演算法系列
lzf_d.c 壓縮演算法系列
rand.c 用於產生隨機數
release.c 用於發布時使用
sha1.c sha加密演算法的實現
util.c 通用工具方法
crc64.c 循環冗餘校驗
sort.c SORT命令的實現
一些封裝類的代碼實現：
bio.c background I/O的意思，開啟後台線程用的
latency.c 延遲類
migrate.c 命令遷移類，包括命令的還原遷移等
pqsort.c 排序演算法類
rio.c redis定義的一個I/O類
syncio.c 用於同步Socket和文件I/O操作

整個Redis的源碼分類大體上如上所述了，接下來就按照既定的幾個階段一一去分析Redis這款如此優秀的源代碼吧！

Ps: 又給自己制定了一個艱巨的計劃，希望自己能像之前一樣堅持下去，一點一點去剖析，相信最後會收穫很多！

最後，希望關注我的個人博客，和我一起來剖析Redis的源碼。

https://zcheng.ren

參考一本書：「Redis的設計與實現」

Redis麻雀雖小，五臟俱全，涉及到一個高性能內存伺服器需要考慮的方方面面的。個人對這塊代碼比較熟悉，可以推薦下的模塊有:

1. 基礎模塊sds, anet, ae，object

2. list, hash, set， zset的實現，如何在不同大小的時候使用不同的數據結構來表示

3. 持久化rdb, aof，格式是如何設計的，為何要這麼設計

4. 主從同步replication.c，期間master / slave是如何交互的， slave和master的狀態機是如何轉換的

剛看完源碼，redis代碼寫的很清晰，分塊看吧：

1 最基本的一個網路層

2 底層數據結構，用於實現各種類型的object

3 aof，bio

4 rdb

5 主從

每一個模塊都是很少的文件。

先看dict.c dict.h，這兩個是redis最基本的存儲結構。Redis中的增刪改查最後都會調用這裡的函數。

然後再看看string類型的增刪改查和各種操作的源碼。這樣基本就能了解Redis的基礎架構了。

想了解持久化的話可以看rdb.c ，redis的rdb原理很簡單。就是fork一個子進程然後刷數據到磁碟。