從技術角度來看，工商銀行的 IT 系統真的是最好的嗎？相比較其他銀行先進之處都體現在哪些方面？

11-16

看到這個題：「雙十一」對於各銀行的科技部都有怎樣的考驗？歷年都有哪些趣事發生？中，很多都提到了工商的系統是最好的，也是很經受住考驗的，想問問一下具體的技術細節上，工行的 IT系統真的是最好的嗎？是如何做到的？是找到對的人？還是對硬體方面比較重視？
另外比其他銀行好在哪裡？

謝邀。還是從宇宙行角度現身說法
首先同意某匿名同學的說法，拋開量級談系統好壞都是耍流氓。

經常發生的情況是，跟同業交流，往往第一句都是，獻醜了，我們這個系統的負荷，跟貴行不是一個數量級的。在場的所有人只能苦笑以對。

其次好壞的標準要建立在系統的建設目標上，沒有哪個系統可以滿足所有的需求，每個銀行都有自己的目標。

於是我們就在量級的基礎上，引用下評估標準的國標來進行一次討論：

按照軟體質量國家標準GB-T8566--2001G，軟體質量可以用下列特徵來評價：
a.功能特徵：與一組功能及其指定性質有關的一組屬性，這裡的功能是滿足明確或隱含的需求的那些功能。
b.可靠特徵：在規定的一段時間和條件下，與軟體維持其性能水平的能力有關的一組屬性。
c.易用特徵：由一組規定或潛在的用戶為使用軟體所需作的努力和所作的評價有關的一組屬性。
d.效率特徵：與在規定條件下軟體的性能水平與所使用資源量之間關係有關的一組屬性。
e.可維護特徵：與進行指定的修改所需的努力有關的一組屬性。
f.可移植特徵：與軟體從一個環境轉移到另一個環境的能力有關的一組屬性。

接下來就分別論述下：
a.功能特徵。宇宙現在所用的系統，中文名稱叫做「全功能銀行系統」，沒錯，宇宙行的系統就必須有宇宙名。有幸搞過宇宙行某數據處理的中樞應用，被整個系統的恢弘架構震撼了。大多數客戶平時接觸的系統大約只佔所有子應用數量的不到5%，大概可以將這個系統比作母體，每個應用都是個錫安。按照宇宙行的德行，每上一個新的業務就會誕生一個或多個新的錫安，超級廣闊的業務線也就早就了極其龐大的系統，從整個系統所完成的功能來說，確實是行業內的頂級。

b.可靠特徵。首先從可用性角度來說，之前跟數據中心的同事聊天，他們說今年的可用性目標是四個九，也就是全年需要有99.99%的時間，系統是無故障運行的。其次是缺陷密度，宇宙行為了解決軟體缺陷，有專門的缺陷管理工具（脫胎於十八摸的CQ）,有專門的測試團隊，有嚴厲的缺陷考核機制（干過的都知道），大多數的缺陷在上線之前就被消滅乾淨了，少數的缺陷會在上線一兩天之內被大量的交易所發現。最後冗餘和災備，所有生產伺服器都有備機，在出現問題時可儘快切換，大部分資料庫使用了類似DG架構，極少出現數據丟失的情況；為了確保災備恢復，數據中心有兩地三中心，分行有同城機房，每年有災備演練。可以說，系統的可靠性是真的用人和錢堆出來的，「可信賴的銀行」是真的名不虛傳。PS:在災備上面，拋開體量不說，宇宙行還是落後在交行後面，此行早在08年就敢全行災備切換了。。。

d.效率特徵。這裡就只拿TPS說事兒了， @wang7x 說過宇宙行的核心系統可達到7000TPS，這已經是個非常可觀的數字。具體數字我沒有求證過，但對生產系統運行情況的監控已經非常細緻，在一些行還只關注CPU內存磁碟使用率初級指標的時候，宇宙行就已經細化對到CPU毛刺進行監控的級別，每個新系統上線之前必須經過慘無人道的壓測。對於宇宙行而言，系統負荷、處理效率方面的問題，上級永遠走在客戶前面。可以參考我另外一篇答覆「雙十一」對於各銀行的科技部都有怎樣的考驗？歷年都有哪些趣事發生？ - Caesar Chan 的回答

說完好的，開始說差的。
c.易用特徵。對於這點已經無需我來。對外服務的系統每天被幾億用戶吐槽，對內服務的系統每天被44萬人唾棄（沒錯，包括自己員工）。為什麼不改？後面一起說。

e.可維護特徵。前文已經說了，宇宙行的系統非常龐大，每個子應用都是由不同的團隊來開發，但絕對不允許出現信息孤島。每個應用都是大系統中的一環，作為基礎交易渠道的應用，需要為報表系統提供各類基礎數據，為數據倉庫提供數據挖掘的材料，為上下游關聯繫統提供半成品的數據。少則十來個，多則上百個，每個應用都與其他應用建立了蜘蛛網般的聯繫。很少人可以把整個流程串起來，在宇宙行里，IT人員不懂是正常的，全懂都是假的。可維護性差的特點決定了日常升級都以功能性、運維安全為首要目標，更多時間用在了梳理、溝通上面，剩下的時間已經不足以考慮技術創新、易用性維護等等了。

f.可移植特徵。工行的部分系統，目前至少被兩家政策性銀行引進，從業內考慮，移植性還可以，但從技術角度就不是一回事兒了，眾所周知，國內大型銀行都是使用十八摸的大型機，它作為一個恐龍化石般的存在，業內完全沒有競爭對手。被技術綁架的後果，決定了核心系統無法或者很難移植，最近浮現的浪潮是個好兆頭，但就目前情況來看，真是誰用誰知道，歡迎兄弟行的兄弟姐妹們補充。與大型機相比，使用CJAVA的平台的開源性平台移植性稍好，但每次的OS層級遷移就是開發、測試的噩夢，對於功能複雜的系統而言，真實覆蓋率是永遠的痛。當然，最近核心系統也開始了新的移植嘗試，最後結果不好說，但終究是個讓人欣喜的事情。

綜上所述，宇宙行的系統首先考慮的事是功能性（要多大有多大要多廣有多廣）、安全可靠（「安全生產無小事」）、效率性能（壓不垮），從這幾點來說，它做得很好，絕對可以在國內稱雄。但從易用性、可維護性、可移植性方面來說，在互聯網公司產品面前，就是個小學生。

@ltye 說宇宙行科技線有些人態度不好，這點承認，每天自己也能遇到不少這樣的同事，但同在屋檐下，也能諒解科技線的苦逼，大多數也是被折磨出來的。
要知道，不是每個人都那麼有耐性在這裡冒著被領導人肉的危險分享知識的~~^_^

我們部門跟工行科技部打交道比較多，也有幾個同事是從工行軟開、數據中心等過來的，我們的感受是：

隊伍很強大，設施很nb。應該是捨得砸錢的緣故，工行應該是國內最早開展大規模信息建設的銀行，別的銀行不清楚，我們行剛成立那會兒，發展科技的辦法就是從工行挖來人，照著工行模式干，人家有什麼我們上什麼。
服務很爛，不愧是國字頭宇宙第一大行。一部分人態度很不錯，但是有一部分人真的是能讓你感受到什麼叫牛逼哄哄，故障響應跟解決方案、手段跟其他服務商不是一個級別的，快急出翔來的問題到那邊只能發個郵件，然後各種轉來轉去，什麼時候能轉到能真正解決問題的人手上誰也不知道。
技術實力我相信是有的，工行很有野心，大部分系統都是自己建的，外包出去的系統，使用的思路也是先用著，慢慢自己在比著開發一套出來（比如oa），而且在應該在ibm等諮詢公司砸了不少錢，這麼多年的積攢人員儲備、技術儲備和項目經驗我想很少有其他銀行能比得上。不過我個人接觸過的項目么，反正作為業務需求來講感覺系統的設計有幾個地方有點奇葩。

作為銀行IT運維人員，談談自己了解的情況，可能有不準確的地方，歡迎指正：
1.工行整個系統採取生產、同城災備、異地災備的兩地三中心架構，前一段時間有報道說，工行實現了雙活，即生產中心和同城災備中心的無縫切換，雖然僅限於主機平台，但也是很不容易了。
2.工行應該是國內第一個實現IT系統全球大集中的銀行，全球所有交易最終都要在上海、北京三個中心處理，而且也可能是目前唯一一個。在這方面，其它大行也在努力，但至少還有兩三年的差距。
3. 工行數據中心一直堅持自力更生的原則，員工的運維水平、技能、經驗相對其它銀行要高，對廠商的依賴程度低。個人認為這一點是工行IT系統最核心的競爭力，基礎設施、硬體系統、軟體系統用錢就可以砸出來，人才是最重要的。

因為問的是工行IT系統如何好，所以就找好的、能夠公開的方面簡單答下，其實工行IT系統也有很多不完善和落後的地方。

工行的 IT系統真的是最好的嗎？比其他銀行好在哪裡？

工行的IT系統在國內確實領先的，下面這一段摘自13年的媒體文章。

早在2010年，在《銀行家》雜誌發布的「全國性商業銀行核心競爭力排名」榜單中，居首的中國工商銀行在「信息技術」單項得分為0.914，它也是唯一一家在該項得分在0.9分之上的商業銀行。

工行的IT系統領先的地方有：

系統性能高，IBM很強大。
安全性、穩定性高，IOE幾大廠商幾十年的技術積累，在企業級應用方面真的不是蓋的，IBM大型機的平均無故障工作時間超過30年，這方面雲計算還不成熟，當然缺點就是貴，很貴。
功能全面，升級快速，行內行外幾百條業務線，大到企業全球資金管理，小到系統內文件傳輸，都有專業系統支持，涵蓋了商業銀行的方方面面。普通用戶看看工行網銀界面有多複雜你就知道了（網銀還不是功能最全的渠道），隔幾個星期工行首頁就會提示系統升級，當然，90%的功能90%的人一輩子都用不上。
IT團隊強大，分布全國五大研發基地，兩大數據中心，大幾千專業人員，大多數專業IT公司都沒這規模，還不算各分行的科技部門和科技人員。基礎技術研究方面比不上BAT這樣的互聯網公司，技術基本靠買，但在行業領域非常領先，各個產品線都有既懂業務又懂技術的專家，這些人才都是寶貝。
研發、測試、投產、運維一條龍，流水線式開發，完善的流程（也可以叫繁瑣），豐富的經驗。例如工行的系統是最複雜的，但升級停機時間是最短的，甚至在升級的時候能保證核心功能不停止服務，有次聽說某家銀行升級系統停止服務三天，羨慕死了都。

是如何做到的？

個人認為主要有需求、戰略、資源三個方面的原因：

需求：工行有四百萬公司客戶，四億個人客戶，遍布四十個國家和地區，每天要完成接近兩億筆交易，在全球來說這樣的規模都是罕見的，對IT系統的要求非常的高。正是有這樣的需求，逼迫工行必須不停的擴展系統能力，才造就了今天的IT系統。
戰略：工行對IT系統非常重視，投入巨大，曾經提出過「科技興行」的戰略，在國內率先搞數據大集中，統一的研發、測試，集中化、高質量的運維，節省了大量重複建設和資源分散的浪費，取得了領先優勢。
資源：有錢，超級有錢，硬體、軟體、解決方案，業界什麼最好買什麼，只看效果不看價錢，當然員工待遇不行（T_T）。客戶多，軟體這東西用的人多成長才快，隨便上線一個功能第一天可能就是幾十萬的使用量，有什麼問題早就暴露了，有什麼需求也很快會有反饋。

一直堅持自主研發的道路，還是很有成績的。不能說多牛b，但對核心技術掌握還是可以的。由於前幾任領導對it的重視，很多架構和規劃原則得以堅持，所以也是發展較好的原因。確實在銀行系統來說，是最好的沒錯，只是對比bat等純技術公司，差距不小。一個在工行和股份銀行從事it多年的人的看法。

瀉藥，四大行的同行們在哪裡？你讓一個平常日網銀交易量只有幾十萬筆的外資銀行怎麼答這個問題？ (￣ε(#￣)　為了這個問題特意請教了幾天比較資深的我行前輩，其實我們也都在享受買買買，雙11對我們不構成問題。

我特意查詢了下去年雙11的交易量，淘寶給出來的巔峰交易量是每分鐘20.5萬筆，一天平均2W+筆每分鐘。。Σ( ° △ °|||)︴

冷靜冷靜，(￣▽￣)"在我這種外資銀行是不可能接受得了這麼大量的交易量的，但是未必國有四大行就不能完成，對比我行系統，我認為國有行（尤其是ICBC）對比我外資銀行的優勢如下：
1，硬體優勢；國有行普遍使用新一代的Mainframe作為後台伺服器交易系統，而外資銀行普遍使用AS400，AS400在數據處理速度等方面還是比不過Mainframe的。
2，系統架構優勢；國有行的架構設計在處理高頻交易上比外資銀行優越，國有銀行數據交易量和外資銀行不是一個數量級，如果不在系統架構上更多考慮高頻交易處理，不是作死么。據我所知，國有銀行系統大都是分區域的，比如華南華北什麼的，一個區域一個系統進行區域交易處理，幾個區域共同組成整個大系統，1個區域系統出問題可以接另一個區域系統處理。外資銀行就特么1個系統，死了就死翹翹了。
3，人員優勢；其實吧，我是很看好銀行系統的，如果工作人員嚴陣以待，做好前期準備和災難恢復計劃，這樣的交易量下，系統照樣不會出什麼幺蛾子的。前年雙11第一年，沒有任何準備，打了銀行一個措手不及，現在大家都知道這樣，其實早就做好萬全的準備了。

暫時寫這麼多吧，國有行科技部同事看到我有什麼說錯的，請打臉啊，(￣ε(#￣)　，我也剛剛工作2年而已，國有行的事情都是聽前輩們交流的。

樓主的第一個問題問的很寬泛，銀行的IT系統眾多，各家銀行所涉及的業務方向不一樣，都有自己的長處。若非要有一個比較結果出來，那我先就比較範圍做一個界定，比較一下國內幾家銀行核心系統的能力。核心系統的能力對比，最能說明問題。
（1）：與ABC比較：ABC的核心系統差不多02年開建，目前核心處理響應時間是ICBC的約1000倍，日均TPS少2k多。
（2）：與BOCH比較：BCH核心系統差不多03年開建，目前日均TPS比ICBC少2k多。
（3）：與CB比較：CB核心系統開建與上世紀90年代左右，目前峰值TPS比ICBC日均少1k多。
（4）：與BOCM比較：BOCM核心系統開建於02年，TPS不知道，但比較一個別的東西，RTO時間約是ICBC的4~8倍，這個東西大概可以衡量下其技術水準。呵呵。。。
（5）：與CMB比較：CMB核心大概開建上世紀90年代，日交易量約是ICBC的1/6。
我想大家對於第一個問題的答案已經很明了了。

第二個問題，我想樓主問問題的出發點錯了，銀行系統之間的比較我覺得先進性不好比較，應該可以比較下誰更穩定，誰可以在大的負載下持續提供服務，穩定比什麼都重要。就這個問題，我沒有答案。

Thanks for your kind invitation.

非相關人士無權對專業技術問題作出評論，後面一段為個人囈語。

從個人比較熟悉的國際金融業務來看，中資各家豪強銀行真正算得上走出去做現代意義的全球銀行業務的也就是BOC和ICBC兩家——關於國際排名這事兒，功夫最高的未必是行俠天下名滿大江南北的豪客，其實也有可能是少林寺藏經閣的神僧。單純的從業務接觸到的日常業務使用的層面來說，主觀印象莫追究樣本人群採樣方法及評判標準，目前宇宙第一大行的系統還是很強大的。

核心賬務處理能力聽說已經達到6000筆/s，從工作中接觸下來的情況看，工行的確實力比其他行強一些，屬於第一梯隊。

打算每周還是要碼碼字，培養一下邏輯能力和寫作能力。所以就從自己想回答的問題開始吧。

先做下自我介紹，小本畢業後就進入工行，從運維做到測試做到研發（可惜是邊緣產品），凌晨在上海生產中心投過產，也在開發中心珠海總部做過項目培過訓，算是工行IT土著，了解這一套運作流程和機制。

測試做了三年開始做研發，隨後離職，進入一家民企做解決方案，或者叫做架構師吧whatever。

再說結論，工行目前應該是國內銀行（注意是銀行範圍里）里IT系統最成熟、IT能力最強的銀行。但是放在全球範圍內，我不敢說，因為沒有調查過，所以沒有發言權。原因大概是大家的使用感受，或許網銀會比招行差點，但是就從每次雙十一雙十二的每秒上萬筆交易處理從來不出現緩慢甚至是宕機、或者是智能網點等一系列變革來看，比其他銀行還是領先不少。

但是，要是把對比範圍擴大到企業，可能就小巫見大巫了，就以筆者目前供職的這家民企的IT水平來比的話，差距大概有5到10年。下面還是從IT方法論、項目管理、公司管理機制這幾個方面來闡述下差距到底在哪兒吧。

一、IT方法論
什麼是方法論？方法論說通俗點就是如何做事情：流程上的動作分別是什麼、哪些是關鍵控制點、由誰做、要做到什麼程度、驗收標準是什麼？
個人認為工行缺乏的是流程管理的思路，筆者做研發時，領導只想著埋頭苦幹、悶頭寫碼，趕緊交付，貌似從來沒有人敢於挑戰需求的合理性、收益在哪裡，對於質量的把控也基本浮於表面。導致的結果是質量和效率基本只能依靠個人能力。
在筆者現在的公司里，IT方法論就很成熟了。IT在做事之前首先問業務幾個問題：業務方案想清楚了沒？收益有沒有？（互聯網行業可能有所不同，可能會出現IT驅動業務的情況，但在大多數非互聯網企業，業務驅動更為普遍）注意，這裡第一和第二個方案出來了，叫做業務方案和流程方案（業務流程、角色、控制點等）
然後，IT拿著業務需求去看業界實踐，看看別人怎麼做的，最佳實踐是什麼，我們能不能套用和模仿。然後輸出IT方案和數據方案，這是第三和第四個方案。
基本上，做IT都是圍繞著業務、流程、數據、IT四個方案執行，同時，各個方案有各自部門主管評審，這是質量控制的第一道關，主要是看各自方案的成熟度、合理性。
再然後，四個方案匯總後的材料才會到更高層級的決策機構去評審，這個環節是更高層面的投資決策，經常見到一些方案在這個環節被否決，原因是與公司未來方向不符，或者收益不足。
最後才是實施，這個環節因為方案都已經明確了，剩下的只是開發的工作，所以基本也是外包給供應商來完成，做好進度和質量管理就好。

這一整套流程下來，至少確保了不出現方向性的錯誤。不要問我什麼是方向性的錯誤，就是做了不該做的，業務需求來了，沒人把關需求質量就開始動工，於是其他更有價值的項目來了沒人做，更悲劇的是，東西做出來了，業務部門發現根本用不上，投資白白浪費了。

二、項目管理
IT項目管理與標準方法論接軌（參照PMP里那些內容，筆者雖然拿到了PMP的證書，但在宇宙行IT項目運作中完全沒有使用到，因為壓根兒沒用這套方法論在管啊喂！！），筆者在工行供職時做IT項目基本上只會管兩個東西，質量和時間，但是卻忽略了另一個重要內容，那就是成本。
管理成本到底有多重要？！想想啊，我找你做項目不花錢吶，那我就可勁兒提需求唄，又沒有人審視我需求的合理性，經常就會出現上午提的需求下午想著不一樣了就提新需求過來了，IT也沒啥辦法啊，提過來就都接著排隊唄，積攢了一大堆業務都沒想明白的需求，有些時候業務提個特別簡單的變更都要排到半年後。業務很不爽啊，這麼簡單一個需求要半年後才做，服務不到位！IT很冤枉，媽的一大堆需求變更忙死了還不討好。
這時候成本管理就能體現價值了，年初的時候業務都給IT報預算和年度需求規劃，說了100萬就絕對不做多，沒錢了那剩餘的需求就不做了，這樣，從制度上對需求質量有了反作用，業務部門主管對IT預算直接負責！業務部門在提需求的時候就會考慮到成本是多少，我有沒有把方案想清楚（沒想清楚要需求變更，要多花錢啊！），業務部門的主管也會主動審核一些關鍵方案，這就把需求質量帶起來了。

時間晚了，先寫這麼多，回頭再更新吧。

在同樣規模的銀行里，論銀行業務全面性和系統支持能力，icbc的it系統全球最佳，沒有疑問。

何謂同等規模？論機構數量，論企業客戶數，論個人客戶數，論ATM數量～

不過icbc的個人體驗和人機界面，咳咳，還是很有進步空間的～

前段時間風聞軟開要獨立成立企業上市……預計可以碾軋國內其他所有軟體公司……

系統交易峰值為6900多筆/秒
工行電商融e購躋身十大電商平台
有自己的iM 融e聯
一年前就完成生產同城主機系統應急無縫切換演練(rto＝0)
完成50多個應用系統應急切換演練(聯機總rto&<30min)
科技管理效率極高
工資極低，加班多

業內最好的吧，否則也不敢稱宇宙行。印象中三年前，淘寶雙十一，就工行的沒垮，不過報警了。後面不知道。其實不是說多好，而是花了多少錢。你看看IBM的主機，開一個CPU得多少錢，真是不心疼。工行在IBM和oracle上面花了多少錢，相關公司的也可以上來講兩句了。多的東西不方便說。

利益半相關：前icbc數據中心員工。

為啥銀行的問題老是邀到我……莫非我已經泄露了我的機密？
占坑，現在在買菜，回頭好好回答吧。

宇宙行恐龍化石主機操作員路過。NOVA和FOVA的朋友你們在哪裡。求摺疊。

當工行進行一次大版本升級時，只是在某個周六的後半夜暫停部分服務2小時。同樣的升級建行卻需要兩天，各種渠道無法提供服務，請參見最近報道。

看到好多宇宙行同仁....工行系統求穩求全，在易用性和用戶服務上，無論對外還是對內，都只能呵呵了，因為這些是無法準確計算成KPI的。在工行軟開的很多小夥伴們都看到了這點，但在開發優先順序上這些都是排最後的。。。

對於工作日每秒交易筆數在6000筆以上的系統，除了穩定，穩定還是穩定。所以一些潮流的新技術很少會用在核心系統上，不過現在也準備在給主機減負了，一些跟核心賬務關聯不大業務已經開始著手從主機下平台了。

聯行號這事兒，2013年四大行只有工行全量更新

我也不想信的

和某四大行技術說了一星期，才折騰明白它家是增量……
我也不明白它家更都更了腫么不全……

全量需要伺服器、系統，從上而下……

手機U盾這種新產品(音頻口插U盾)，某些行都不準備投，觀望工行試個水，包括成本政策啥的，看看趨勢再考慮跟不跟。

2013年，還有銀行剛開始開發信用卡系統……