在銀行的信息科技部門做數據治理是什麼體驗?


數據治理本身分狹義和廣義兩個區別,狹義的治理主要是組織、制度、流程這些,data governance的一個定義就是 the management of management;廣義的治理包括數據質量、數據標準這些。12年我們為銀監會課題寫過一個數據治理機制研究與實踐,14年工行和郵儲又合寫了一本數據治理的書,裡面的內容都屬於廣義的治理了。

說說經驗,數據治理強調兩點,一是高層支持,二是各部門廣泛參與。這兩點在我行都貫徹的不錯,越體制內就越聽監管的話,所以對於數據治理也就最重視。銀監會有數據質量良好標準,非現場檢查加現場檢查,這是銀行數據治理工作最大的督導。銀行內數據治理各項工作的開展都要想好這兩個因素,搞定了就能事半功倍。

說句題外話,銀行有成建製成體系的數據管理工作,這在各個行業內屬於最好的;用成熟度衡量的話,基本都是3.0水平。其他傳統行業沒有這麼強大的動力,互聯網電商又沒有這個必要,所以想深入了解的話,可以找工、農、建、交、浦發、光大的同學聊,13年銀監會數據質量良好標準評估指南中的最佳實踐就來源於這幾家。(送個知識點:銀行的數據治理最佳實踐,分為包括建行和不包括建行的兩個版本)

此外,數據治理對人的要求蠻高,要懂業務、懂數據、懂技術,所謂上能寫制度辦法,下能查數分析;另外,還要懂權衡、懂策略,甚至學學兵法,因為具體工作八成都是跟人有關。要求雖高,但實際上具體工作挺無聊的,因為挫敗感占的比例要遠高於成就感,個中體會只有行內人能了解了。

最後,我現在專心做數據挖掘建模了,輔以大數據治理;這部分的治理也是以應用為目標,想比起來要有趣一些。想聊數據治理、管理,可以找我;想聊大數據,也可以找我。

補充一點內容,數據治理和數據管理在國內關注的並不多,很多企業在應用都沒規劃好的前提下就開始搞數據湖,最後發現搞不動了才開始反思數據治理。在quora上,data governance主題有195人關注, data management主題又1500人關注;在知乎上,這兩個主題都沒有。結論是data governance在全世界都是小眾話題,Dama China微信群里已經是國內領先、世界一流的水平。

btw:

1、入門者推薦先看看dmbok,《DAMA 數據管理知識體系指南(計算機科學與技術學科前沿叢書)(中文版)》(DAMA,International)【摘要 書評 試讀】

2、文中提到那本工行主寫的書是《銀行數據治理》(陸顧新,陳石軍,王立,等)【摘要 書評 試讀】

3、從應用視角談數據治理:數據治理的主戰場,商業智能還是數據挖掘? - 知乎專欄

4、數據治理的方法論: 銀行數據治理方法淺析 - 知乎專欄

5、數據治理的發展趨勢:大數據背景下的數據需求統一管理 - 知乎專欄

6、銀行數據治理:商業銀行數據治理機制研究


簡單說下我在IT部門所看到的數據治理工作,制度和流程層面的東西不談。

  1. 數據標準化。對共用數據制定標準,達成系統建設共識,降低數據轉換代價。銀行部門使用的系統較多,每個系統的定義千差萬別,但都有一些共用的數據,如貨幣代碼、國家代碼、日期(有些8位,有些10位,有些...)等,這些數據的使用都要有明確標準和使用場景。
  2. 數據流向可追溯,數據用途明確化。數據流向可追溯,數據用途明確化。系統之間數據傳遞(如文件)可追溯,如清楚數據文件來源於那裡,中途經過了那些系統的過濾,最終被哪些用戶使用。
  3. 數據交換平台化。建設數據交換平台,支持數據流動。即有一個數據交換平台支持系統之間的數據流動,對數據的流出方和流入方的許可權和規則加以控制。
  4. 數據市集化。共享類數據集市化,即需即取。系統和系統之間的共享數據共享與數據市集,供相關的經營分析系統使用,或者分析結果後最後回吐到市集。
  5. 數據使用工具化。建設數據ETL,對數據進行清洗,變形,裝載。
  6. 數據倉庫化/大數據平台。存儲歷史數據供經營分析使用。
  7. 數據分析平台化。提供建模分析使用工具,進行經營分析,形成分析結果,回吐給其它平台。
  8. 數據可視化。對於一些數據分析結果做到可視化,能將數據通過圖形或者報表的方式展示給決策者。

其中,1和2看似簡單無味,但對於整個數據治理卻是至關重要。


我也來說說湊下熱鬧,最近剛好在做數據治理的方案。

DAMA對數據管控體系有比較明確的闡述,但真的要做好數據治理卻不是那麼容易。

目前國內實施數據治理的企業也是鳳毛麟角,而且每一家都有自己的理解,實施方案大同小異,卻又都不完整。而那些啟動了數據治理的企業也幾乎都沒有發揮數據治理的價值,持續推動數據治理,比如樓上講到目前國內數據治理實施最好的銀行,成熟度也只有3分。我個人認為數據治理推動難,後繼無力的主要原因在於沒有讓數據治理的工作價值變現。對數據治理有過了解的人都明白,數據治理是對數據標準、數據質量、數據安全、主數據、元數據、數據模型等一系列數據相關的領域進行規範化,標準化管理的一些列動作,措施。但如果只把數據治理局限在這些領域,將脫離業務人員,導致數據治理工作脫離業務方,從而無法讓數據價值得到變現,因為,我們知道數據治理離不開業務,業務是驅動數據治理的原動力,因此,我認為在開展數據治理工作的時候,必須要仔細思考如何將數據治理與數據應用、數據服務介面,讓數據的價值得到變現,促進業務人員對數據治理的信心。

最後,數據治理是長期複雜性的工作,設計的人員角色複雜,因此整個數據治理工作應該循序漸進,由易到難,逐步完善,迭代優化。

個人見解,歡迎大家指出不同意見。


謝邀。

銀行數據治理,有兩件事情非常棘手,一個是有些系統陳舊,文檔少,沒人講的清楚具體業務怎樣紀錄數據,也有一些系統中比較冷門的業務可能也存在類似情況,無從談起數據治理了,當然這樣情況是少數,對全行數據治理影響不大。另一個情況是銀行內部按照業務部門組織系統,數據分屬各個業務部門,其中利害關係複雜,沒有大的魄力很難在數據治理上有太大成果。

最近也在做數據治理相關一些工作,要做好數據治理,應該要解決好如下一些問題。

1、要全行統一步調,自上而下推動數據治理工作。這點很容易形式上重視,但落地執行時各種阻力

2、要全行統一規劃,按照統一標準生產數據,並提交完備的數據文檔

3、要按照統一標準加工數據,包括數據採集,清洗,存儲等

4、要有一套完整的數據處理的平台和數據質量監控分析工具


根據企業數據治理的實踐來看,目前在數據標準化這塊落地也存在很大的困難,雖然現在有些企業在數據標準整理上已經基本上有了一個完整的標準,也存在標準管理的體系,但在標準實際落地時存在很多困難,比如舊系統數據如何處理?新系統標準化如何落實?以及數據標準後續如何管理?這些都是很難解決的問題,僅數據標準化的一個問題就造成數據治理常常是虎頭蛇尾,難以持續。


一般來說銀行科技部門治理管元數據和架構、模型居多,標準、質量一般是管信中心牽頭管理。


數據治理重要性不言而喻,但是做成並持續迭代下去的應該不多

數據治理是個頂層設計問題,沒有多年的工作經驗積累,業務積累,最重要的需要自上而下推動,否則是推不下去。


推薦閱讀:

大數據魔鏡的前途怎麼樣?
完全沒有計算機基礎想要學sas,spss等數據建模分析軟體怎麼做?
數據分析師和數據挖掘工程師的區別?
加入某個控制變數後原解釋變數不顯著了是什麼原因?
市場調研中如何做數據分析?

TAG:銀行 | 數據分析 | 銀行IT | 數據管理平台DMP | 大數據 |