為什麼銀行業務離不開「IOE」?
先擺出觀點:
即便缺少BAT的技術優勢,傳統商業銀行去IOE,也可四兩撥千斤
商業銀行大數據之路三部曲1:去IOE
商業銀行大數據之路三部曲2:數據治理
商業銀行大數據之路三部曲3:智能化IOE的成本
對銀行來說IOE的「I」指IBM的大型機,約幾百萬美元,每年維護費80萬,維護人員每天工資2萬。「O」為Oracle資料庫,按CPU收費,每個15萬,好點的資料庫伺服器隨便7,8個CPU,就要消耗近百把萬的license費用。「E」是EMC的存儲,按T(1024G)收費,一套方案下來,大概5萬/T左右。
前段時間參加了一個技術討論,會上有聽到某個中字頭銀行測試部門負責人談他們的架構和成本。他們是IOE的架構,幾千萬的賬戶,平均下來1台IBM的大型機,配套Oracle資料庫,配套EMC存儲,費用總支出近1億元, 卻只能支持50萬個賬戶。也就是說,單一的賬戶,硬體的成本將近200元。
也許大家對這個數字存有疑慮, 50萬個賬戶, 就算他們在1個小時之內,全部交易10次,算TPS(每秒事務5000000/3600)也才1400左右。普通的伺服器就能做到,根本用不上大型機。其實,這是對銀行系統的業務不太了解。銀行的每一筆交易,普通理解分三層:信息流,資金流,和賬務流(會計分錄),涉及到存款系統,支付系統等。但其實,對於銀行來說,流程遠遠沒有結束,每筆交易都要被銀監系統監管,被人行系統監管,要處理徵信,要進行風險的評估,要進行財務指標的計算,要進行流動性和頭寸的計算,要算資金成本,要進行盈利的分析,要進行成本分攤, 還要判斷是否是洗錢,進行歸檔處理,客戶信息管理,反欺詐,稅務處理等等,還有成千上萬的報表。因此,交易之後的計算量,數據存儲量,都非常巨大,但又必不可少。缺少任何一項都會有相當嚴重的後果,比如2012年滙豐銀行就因為沒有判斷出明顯的洗錢行為,被罰了19.2億美元。 因此,從全流程角度看,1個大型機,跑50萬賬戶,單賬戶200元的成本是比較可信的。如果銀行能夠擺脫對IOE的依賴,把成本降到十分之一達到20元,則平均每千萬的賬戶,能節省 180元 * 1千萬 = 18億 的成本。去IOE的艱難
願望是美好的,現實也是殘酷的,去IOE口號喊了很多年,真正做到了去IOE的,也只有依靠騰訊和阿里支持的兩家互聯網銀行,這兩者都以「分散式的IT架構」為基礎,構建了銀行體系。
而傳統銀行,由於多年的IT均是基於IOE而建設的,形成了巨大的依賴性。不管是技術的積累,人才的儲備,或是風險的承擔能力,都不足以支撐這個去IOE的艱巨任務。此外,他們還有互聯網銀行所不具備的歷史包袱,億級賬戶需要在保持穩定性的同時,平穩切換到去IOE的架構,中間任何的差錯風險,都足以讓一票人烏紗不保。2015銀監發39號文,督促銀行去IOE,並規定了明確的量化指標:2019年去IOE達到不低於75%佔比,且安排年度不低於5%的預算。但總體上也是雷聲大,雨點小,不僅技術儲備有差距,意願上更是身不由己,困難重重。那麼對於銀行來說,去IOE,是否就真的不可實現了呢? 答案是否定的。去IOE的可操作方案
二八原則
筆者曾經在「I」工作過4年,「O」也工作過4年,之後在「去IOE」的銀行又工作了3年。或多或少參加了不少系統的去IOE架構落地工作,深切的感受到了去IOE過程中的「二八原則」。
去IOE的癥結矛盾是,在可控的風險和技術能力下,減少銀行IT系統成本。而實際上,有些系統投入80%的精力,80%的難度,承擔80%的風險,卻只能減少20%的成本。而另外一些系統,投入20%的精力,20%的難度,承擔20%的風險,確能減少80%的成本。因此,商業銀行在各種劣勢下去IOE的出路,就在於儘可能把那部分20%的投入,有80%產出的系統落地。
系統分類和對比
銀行的系統從去IOE的角度,可以分為2類,聯機系統和數據系統。
聯機系統主要代表有: 存款核心系統,支付鏈路系統(如同城,超網,大小額,銀聯),貸款系統,資金交易系統等。凡是系統響應在秒級別或者毫秒級別的系統,都可以納入聯機系統的範疇。
數據系統主要代表有: 監管系統,徵信系統,資金轉移定價系統,資產負債系統,成本分攤系統,盈利分析系統等。凡是可以隔日再計算的系統(俗稱T+1跑批),都可以納入數據系統的範疇。
那這兩類系統在去IOE的表現上有什麼區別呢?
1.技術角度
聯機系統去IOE對技術要求非常高,不僅需要分散式的IT架構,同時在穩定性,容錯性,可擴展性上都有非常高的要求。在過去的實踐中,也都是很多部門,近幾百號人協作,踩了無數的坑,嘔心瀝血花了幾年時間才基本成型。因此,對於傳統銀行來說,不是金剛鑽,就別攬瓷器活。2.風險角度聯機系統去IOE風險非常大,稍有不慎停機幾秒鐘,或者計算出錯,就能導致非常大的損失。畢竟銀行賬戶金額出錯,換在誰身上都是不可接受的。3.計算量角度銀行聯機系統的TPS,不比互聯網,目前最大也就在5000左右。業務邏輯也不是特別複雜,處理完信息流,資金流和賬務流基本就結束了,因此佔用的計算量並不是特別多。4.數據量角度數據系統的數據一般都是每日從聯機系統拷貝快照,然後按照不同的下游系統需求進行分別加工, 這個過程後,數據會急劇膨脹,數據系統累計的數據量,是聯機系統的上千倍。
6.系統選擇
由於歷史的原因,基本上傳統銀行,這兩類銀行系統都是遵循了相同的IOE架構。因此,這就給了我們去IOE的可操作空間。把數據系統從IOE中剝離出來,是低難度,低風險,高收益的事情。大數據平台才是數據系統真正的家。因此,依據二八原則,我們可操作的方案是: 聯機系統繼續保持IOE的架構,數據系統遷往大數據平台。這樣做的好處顯而易見,以極小的風險代價,保障系統穩定的同時,極大降低成本。讓我們同樣算一筆賬:1億的IOE大機方案,如果只處理聯機交易,能力平均至少提升10倍,算500萬賬戶,單賬戶的成本為20元。而大數據平台,500萬賬戶,實際生產上,只需要200台5萬左右的伺服器建集群,就能支撐所有的數據系統需求,單賬戶成本為2元 = 1000萬元 / 500萬賬戶。因此,IOE+大數據平台的方案,單賬戶總成本為22元, 相比單賬戶200元的純IOE方案,已經極大地降低了成本,從節省成本的目的上看,去IOE可以算非常成功了。總結
商業銀行去IOE,最經濟,最低風險,最小難度的方案,就是依據二八原則,把銀行系統中的數據系統從IOE剝離,遷移到自建的大數據平台,以20%的投入,降低80%的成本。自此,商業銀行大數據之路就真正開始了。
點贊的童鞋,可以加我微信聊聊——Tunky82
最後廣告安利一下,我的微信公眾號:Tunky的實用主義 (SHI_YONG_ZHU_YI) 對銀行大數據和人工智慧實踐有興趣的朋友,可以關注一下
本人銀行科技部程序員一名。實事求是地回答
1 銀行技術水平不高,技術地位不高,領導說了算。外包公司水平不高,所有的外包公司,水平都不怎麼高(得罪人也要說了,互聯網公司也有低的,但是BAT等的水平銀行加外包都趕不上)。除非BAT向銀行業技術輸出,自己增加銀行外包的業務。但是銀行外包真有那麼好做么。
2 壟斷行業,准入門檻高,買ioe解決,為什麼要去,我的重點是拉存款,放貸款,你存錢進來了,系統掛了,你不能等系統恢復再轉賬嗎?你能把我怎麼滴!BAT去IOE,估計最大原因不是成本,是IOE滿足不了他的業務量。這點在銀行壓根不是問題。
3 拍板的領導都是搞業務上來的,你讓我怎麼去領導大家去IOE,IOE是個啥都說不清楚。
目前電信行業現在正在在做去ioe,不知銀行未來發展趨勢是否也會如此
不想省錢,想找個第三方出事了擔責。記得ibm的人在哪個銀行丟數據以後被銀行員工毆打的
不是銀行業離不開IOE,是離開IOE需要時間,就跟阿里一樣,阿里也不是一下就離開的,至於時間長短就看他們自身的投入了。
銀行的首要是要穩定,,猛然去ioe有風險,先會在非核心的業務上去,,然後才會是核心業務,,再說ioe一般都有廠家支持,出了問題有人背鍋,,凡事要有背鍋的人,這個很重要
成本巨大,費時費錢費力。需求並不迫切,沒有哪位領導願意大刀闊斧去承擔這個風險,多做多錯。相對於效率我覺得現在銀行更看重安全與穩定性。
額,俺這樣業餘民工級別的IT業餘人士居然被人點歪了「邀請」。。。。。。不得不匿啊先從大環境來說,目前說難聽點是社會上的「崇洋媚外」,客觀來說就是目前的國產壓根還頂不上去如果忽略中間件、資料庫……大概劃分成為硬體、軟體、服務3方面,銀行看重的響應速度、災備時間……俺不懂,但是
硬體、軟體上,一方是大名鼎鼎的世界級大牌,一方是國產…………前面有HDS泄密,後來有斯諾登同志爆料,國家會投入的,只是不可能一蹴而就
利益相關:國家認證第三方檢測機構職員就說一句,國外的都不安全我們要對自己要用的東西,尤其是核心關鍵位置,一定要知根知底,不只是伺服器,資料庫,操作系統,晶元也要上自己的了
推薦閱讀: