58架構師解讀:如何優化秒殺業務的架構?

58架構師解讀:如何優化秒殺業務的架構?

【點這裡報名:中國產業互聯年度高峰論壇】,與行業 一起探討如何「讓產業鏈接更直接。」

本文是58技術委員會沈劍:《架構師之路 》的作者在生意匯名人堂分享,由微信號(13928499422)整理。

hello,大家好,我是 58沈劍,《架構師之路 》的作者,技術人一枚。

首先感謝生意匯平台邀請,我們開始今天的分享,今天的topic是《秒殺系統架構優化》

秒殺業務為什麼難做?

im系統,例如qq或者微博,每個人都讀自己的數據(好友列表、群列表、個人信息)

微博系統,每個人讀你關注的人的數據,一個人讀多個人的數據

秒殺系統,庫存只有一份,所有人會在集中的時間讀和寫這些數據,多個人讀一個數據

例如:小米手機每周二的秒殺,可能手機只有1萬部,但瞬時進入的流量可能是幾百幾千萬

又例如:12306搶票,票是有限的,庫存一份,瞬時流量非常多,都讀相同的庫存

讀寫衝突,鎖非常嚴重,這是秒殺業務難的原因。

那我們怎麼優化秒殺業務的架構呢?

優化方向有兩個(今天就講這兩個點)

(1)將請求盡量攔截在系統上游(不要讓鎖衝突落到資料庫上去)

(2)充分利用緩存(關注公眾號:shengyihui100.)

傳統秒殺系統之所以掛,請求都壓倒了後端數據層,數據讀寫鎖衝突嚴重,並發高響應慢,幾乎所有請求都超時,流量雖大,下單成功的有效流量甚小。以12306為例,一趟火車其實只有2000張票,200w個人來買,基本沒有人能買成功,請求有效率為0。

所以我們要儘可能的將請求攔截在系統上游,不能壓到資料庫上。

充分利用緩存,秒殺買票,這是一個典型的讀多些少的應用場景,大部分請求是車次查詢,票查詢,下單和支付才是寫請求。一趟火車其實只有2000張票,200w個人來買,最多2000個人下單成功,其他人都是查詢庫存,寫比例只有0.1%,讀比例佔99.9%,非常適合使用緩存來優化。

怎麼個「將請求盡量攔截在系統上游」法,以及怎麼個「緩存」法,接下來再看。

常見的站點架構基本是上面這樣的(關注公眾號:shengyihui100.)

(1)瀏覽器端,最上層,會執行到一些JS代碼

(2)站點層,這一層會訪問後端數據,拼html頁面返回給瀏覽器

(3)服務層,向上游屏蔽底層數據細節,提供數據訪問

(4)數據層,最終的庫存是存在這裡的,mysql是一個典型(當然還有會緩存)

這個圖雖然簡單,但能形象的說明大流量高並發的秒殺業務架構,我們來看看怎麼個把請求攔截在系統上游法。

第一層,客戶端怎麼優化(瀏覽器層,APP層)

大家都玩過微信的搖一搖搶紅包對吧,每次搖一搖,就會往後端發送請求么?

回顧我們下單搶票的場景,點擊了「查詢」按鈕之後,系統那個卡呀,進度條漲的慢呀,作為用戶,我會不自覺的再去點擊「查詢」

繼續點,繼續點,點點點。。。有用么?平白無故的增加了系統負載,一個用戶點5次,80%的請求是這麼多出來的(關注公眾號:shengyihui100.)

怎麼辦呢?

(a)產品層面,用戶點擊「查詢」或者「購票」後,按鈕置灰,禁止用戶重複提交請求

(b)JS層面,限制用戶在x秒之內只能提交一次請求

APP層面,可以做類似的事情,雖然你瘋狂的在搖微信,其實x秒才向後端發起一次請求。這就是所謂的「將請求盡量攔截在系統上游」

越上游越好,瀏覽器層,APP層就給攔住,這樣就能擋住80%+的請求

但這種辦法只能攔住普通用戶(但99%的用戶是普通用戶)對於群內的高端程序員是攔不住的。firebug一抓包,http長啥樣都知道,js是萬萬攔不住程序員寫for循環,調用http介面的

這部分請求怎麼處理?

第二層,站點層面的請求攔截

怎麼防止程序員寫for循環調用,如何去重,排重

ip?cookie-id?還是?

想複雜了,這類業務都需要登錄,用uid去重,排重即可(關注公眾號:shengyihui100.)

在站點層面,對uid進行請求計數和去重,甚至不需要統一存儲計數,直接站點層內存存儲(這樣計數會不準,但最簡單)。一個uid,5秒只准透過1個請求,這樣又能攔住99%的for循環請求。

如此限流,既能保證用戶有良好的用戶體驗(沒有返回404)又能保證系統的健壯性(利用頁面緩存,把請求攔截在站點層了)。

頁面緩存不一定要保證所有站點返回一致的頁面,直接放在每個站點的內存也是可以的。優點是簡單,壞處是http請求落到不同的站點,返回的車票數據可能不一樣,這是站點層的請求攔截與緩存優化。

好,這個方式攔住了寫for循環發http請求的程序員,有些高端程序員(黑客)控制了10w個肉雞,手裡有10w個uid,同時發請求(先不考慮實名制的問題,小米搶手機不需要實名制),這下怎麼辦,站點層按照uid限流攔不住了。

第三層 服務層來攔截(反正就是不要讓請求落到資料庫上去)

服務層怎麼攔截?

大哥,我是服務層,我清楚的知道小米只有1萬部手機,我清楚的知道一列火車只有2000張車票,我透10w個請求去資料庫有什麼意義呢?沒錯,請求隊列!

對於寫請求,做請求隊列,每次只透有限的寫請求去數據層(下訂單,支付這樣的寫業務)

1w部手機,只透1w個下單請求去db

3k張火車票,只透3k個下單請求去db

如果庫存不夠則隊列里的寫請求全部返回「已售完」

如果均成功再放下一批

對於讀請求,怎麼優化?cache抗,不管是memcached還是redis,單機抗個每秒10w應該都是沒什麼問題的。如此限流,只有非常少的寫請求,和非常少的讀緩存mis的請求會透到數據層去,又有99.9%的請求被攔住了。

上面種種,就是所謂的「將請求攔截在系統的上游」,以及「緩存抗讀」

當然,還有業務規則上的一些優化。

回想12306所做的,分時分段售票,原來統一10點賣票,現在8點,8點半,9點,...每隔半個小時放出一批:將流量攤勻。

還有,數據粒度的優化:你去購票,對於余票查詢這個業務,票剩了58張,還是26張,你真的關注么,其實我們只關心有票和無票?流量大的時候,做一個粗粒度的「有票」「無票」緩存即可。

第三,一些業務邏輯的非同步:例如下單業務與 支付業務的分離。

這些優化都是結合 業務 來的,我之前分享過一個觀點「一切脫離業務的架構設計都是耍流氓」架構的優化也要針對業務。

好了,最後是資料庫層

瀏覽器攔截了80%,站點層攔截了99.9%並做了頁面緩存,服務層又做了寫請求隊列與數據緩存,每次透到資料庫層的請求都是可控的。

db基本就沒什麼壓力了,閑庭信步,單機也能扛得住,還是那句話,庫存是有限的,小米的產能有限,透這麼多請求來資料庫沒有意義。

優化前,全部透到資料庫,100w個下單,0個成功,請求有效率0%。

優化後,透3k個到數據,全部成功,請求有效率100%。

最後做一個簡要的總結

對於秒殺系統,再次重複下我個人經驗的兩個架構優化思路:

(1)盡量將請求攔截在系統上游(越上游越好);

(2)讀多寫少的常用多使用緩存(緩存抗讀壓力);

瀏覽器和APP:做限速

站點層:按照uid做限速,做頁面緩存

服務層:按照業務做寫請求隊列控制流量,做數據緩存

數據層:閑庭信步

並且:結合業務做優化

今天的秒殺架構分享和優化就到這裡,希望大家有收穫,

敬請關注公眾號:shengyihui100.

點這裡報名:中國產業互聯年度高峰論壇

推薦閱讀:

盜誇
抽象還是不抽象的問題

TAG:架構師 | 系統架構師 | 軟體架構師 |