面向數字轉型的大數據頂層設計實踐

05-14

導讀：

本文與您分享郭樹行博士在國家新聞出版總署大數據應用工程課題推進過程中的一篇專題報告，報告圍繞如何通過大數據平台的頂層設計來驅動企業轉型，特別是數字出版能力轉型，與國家各出版發行單位的領導同事展開積極探討。

當下數字化革命風起雲湧，中國市場數字化轉型的動力和速度領跑全球，數字化轉型已成為中國彎道超車的最大機遇，這也是眾多企業所能把握的絕佳機遇。然而，傳統的應用系統 IT 架構和技術方案已難以支撐企業互聯網業務快速發展的需求。面對企業轉型最核心的關鍵點就是基於大數據架構來進行的創新。

頂層設計的必要性分析

一個企業的信息化如果搞不好，是無法幫助企業轉型，在內向信息化、外向互聯網這樣組合發展的時代，企業勢必需要進行大數據建設的頂層設計。在互聯網新時代下，集團型企業與傳統業態公司如何提高企業的商業產出，已經成為全局治理與轉型難題。面對互聯網時代必須要應對的數字化轉型，頂層設計的核心目的是為企業打造新經濟、新模式、新業態以及新動能。基於此目的，需努力將頂層設計融入到互聯網經濟領域中，通過可重複、可靠的設計來指導企業。

企業的數字化轉型之路

從目前企業現狀來看，數據已經成為企業變革的新基因，搞好數據，實現對數據的加工利用尤其重要。圍繞智慧企業、智能經濟、數字經濟，企業可以依據TOGAF方法論指導並實現企業轉型。

關於TOGAF方法論的介紹主要是圍繞ADM圖進行解釋。

ADM圖

一是預備階段，本階段應納入到公司的整體戰略規劃中，達成戰略共識，即實現數字轉型。
二是中間階段，中間的需求管理，其核心是抓住企業內生業務需求；
A階段即架構願景，強調需要達成全局共識，即通過數字轉型這樣新動能、新業態的企業轉型來幫助企業實現未來的互聯網經濟；
B階段即業務架構，強調塑造用戶中心化，端到端的業務流程，進行流程建設；
C階段即信息系統架構，強調通過何種信息化支持業務流程，即通過信息化實現業務協同，形成敏捷企業；
D階段即技術架構，強調大數據技術，通過大數據，實現信息化建設、業務建設；
E階段即機會及解決方案；F階段即遷移規劃；G階段即實施治理；H階段即架構變更管理。

依據TOGAF方法論，通過業務架構、數據架構、應用架構和技術架構來進行企業轉型設計。其中業務架構主要是進行流程建設、業務建設，打造端到端的業務流程體系，實現橫向跨域各個階段，縱向聯動各個角色；數據架構主要是通過數據標準體系實現標準化數據；應用架構主要是實現各個應用系統的互聯互通，規避信息孤島；技術架構主要是大數據+雲計算，即雲大物移智等先進技術建設，目前的頂層設計模式主要是互聯網引導，大數據驅動。

要實現企業數字轉型，其核心是做好業務轉型，而業務轉型的核心選擇是端到端的新的業務模式，滿足用戶的服務流程，形成端到端的業務流程。其中，企業進行業務梳理時，一般優化考慮的有生產、經營、互聯網營銷、人財物等業務。

企業數字轉型的全局收益

企業進行數字轉型的需求主要包括增強管理水平、提高業務效率（實現流程自動化）、降本（技術建設層：大數據分散式存儲技術）、提高客戶體驗（實現數據聚合）、創新模式（商業創新模式）。

企業大數據建設頂層願景

大數據建設是企業的頂層設計問題。目前企業都是通過運營商進行大數據平台建設，而諸如通信行業的運營商多是通過分層多維進行的建設。例如，運營商大數據平台中主要分為分別為數據採集層、數據處理層、數據分析層、數據訪問層及應用層。

企業通過大數據建設，目標是構建集中化、大容量、高擴展、高可用資料庫平台能夠支持全網型數據、跨部門數據的整合，形成集中化管理的企業級數據中心；支持互聯網時代更高的實時性要求、支持；打造動態資源共享能力，支持資源動態按需供應；構建可重用的標準化數據服務組件，支持一次開發、全局共享的模式，形成規模型效益。

現有數據平台是傳統關係型資料庫架構。大量的用戶上網、用戶行為等半結構化和非結構化數據無法保存和處理，缺乏非結構化數據的處理能力。用戶上網行為等互聯網行為數據以結構化數據方式保存至數據倉庫中。由於傳統數據倉庫的數據處理流程與業務保持緊密關聯。整個數據加工流程為最終應用服務。為緩解存儲壓力在數據抽取和清洗階段會過濾掉與業務無關的數據記錄和欄位。每個應用需求的變化就是一場災難。由於數據處理與業務的緊密關聯可能需要對中間每個處理環節進行逐個調整。重新生成數據的周期也非常緩慢。面對海量的數據壓力，需要大數據平台提供快速的處理能力。

所以，適應數據集中化趨勢使得企業面臨著海量數據的存儲及分析問題，大數據在支撐互聯網業務發展趨勢中，充當重要角色。

企業大數據平台建設框架

從總體目標上，通過大數據平台和BI應用建設，出版集團將搭建統一的大數據共享和分析平台，對各類業務進行前瞻性預測及分析，為集團各層次用戶提供統一的決策分析支持，提升數據共享與流轉能力。

大數據平台主要劃分為「五橫一縱」。其中「五橫」是：數據產生層、數據交換層、數據存儲層、數據應用層、數據訪問層。「一縱」是：數據流調度層。

數據生產層：主要解決兩類問題，一是內外部數據源的獲得渠道建設，二是通過增量方式，針對內外部數據進行增量數據源的訪問處理。
數據交換層：主要是實現數據資源共享、交換、整合，保障數據「四不」，即不低效、不失真、不丟失、不外泄。
數據存儲層：主要是建設存儲計算能力，針對不同數據，建設不同的存儲計算能力。
數據應用層：主要包括五類應用，分別是管理分析類應用、數據增值類產品應用、支撐企業沙盤演練應用、歷史查詢應用、營銷分析應用。其中，管理分析類應用主要實現了集團客戶管理、運營管理、財務管理、風險管理、監管信息披露五大分析體系功能。
數據訪問層：主要是建設大數據門戶，提供一站式訪問、實現應用聚合、數據聚合。
數據流調度層：主要是解決數據快速調度。其調度流程為獲取、聚合、統計、服務應用，實現跨多層數據進行調度的。

企業如何構建數據型運營組織

實現面向大數據的數據性組織，其任務是建立面向數據的組織架構、評價與考核體系、管控流程和管控平台的一套運行機制。

組織架構：應建設數據管理委員會，進行統領和決策。組織架構中需要明確的管控方和參與方。明確數據管控過程中的組織結構、角色、職責等。管控組織除了要負責制定數據標準、質量、安全等要求外，還需要負責制定管控的相關流程和評價考核指標等內容。
評價與考核體系：將標準建設納入考核機制，執行「誰的數據，誰負責」的原則。通過建立一些定性或定量的數據管控評價考核指標，去評估及考核數據相關責任人職責履行情況、數據管控標準及數據政策的執行情況等。
管控流程：定標準、定流程。規範了數據管控過程中，各個環節日常任務處理的運作模式，例如數據定義如何變更、數據衝突如何協調等。
管控平台：建設數據管控平台。採用專門的技術平台支撐管控流程的自動化，發布管控組織制定的一些相關標準和規範，及時反映管控過程中存在的一些問題等。

堅定不移走向互聯網新時代

互聯網時代智慧企業必須企業面向大數據發展，通過探索大數據在生成與經營管理領域的應用途徑，推進多元業務與大數據技術深度融合，更好地推動企業能力的數字化、智慧化轉型。從經濟角度，通過轉型升級，可以獲得新的利潤增長點；從政治角度，通過轉型升級，隨著服務品牌的增強，獲得政府職能部門的高度認可；從服務角度，通過服務體系優化，整合資源，能充分發揮出版企業優勢。