【案例分享】為銀行搭建業務分析與大數據之間的快速通道

06-07

Kyligence智能大數據分析技術，幫助業務部門跨越數據獲取的鴻溝，提升數據分析的效率，有效驅動業務分析自主化，充分釋放IT價值，讓專業的人做專業的事情，各司其職，多方合作，快速響應數據類需求。

——資管數據部IT負責人

摘要

隨著銀行信息化建設的高速發展與大量業務數據的積累，越來越多的大數據平台也相繼搭建與發展起來。然而IT的工作變得越來越重，在維護原有數據倉庫、數據分析平台的同時，也需要支撐大數據平台的系統建設和應用遷移，還需要給業務部門準備各種數據和分析報表。

本文將介紹最有影響力股份制銀行的資管部門如何利用KAP智能化大數據方案，構建自助分析的能力，使能業務分析人員自主取數，加速業務部門對數據靈活分析、快速響應的需求，提升了整體數據分析效率，並有效解放了科技部門的生產力，更多工程師得以專註在構建AI等更加前沿的技術上。

1. 業務背景

該企業是國內金融科技銀行的領頭羊，以技術創新為驅動，服務於銀行金融業務。其服務範圍包含現金管理，跨境金融，融資租賃，資產託管等。

其資產管理部門主要負責投資管理等業務，涵蓋代客資產管理，金融市場風險管理，資產項目管理和風險管理等。包括貸款種類的設置、確定；貸款及投資方法的選擇、制定；資產的評估、處置、和利息回收；貸款及投資計劃的編製、執行等。是銀行之中的重點業務部門。

近年來我國資產管理行業發展迅速，銀行理財逐步成為國內規模最大的資產管理子行業。市場的發展對企業的業務能力提出了更高要求，封閉型和預期收益型產品向結構型、開放型、凈值型等市場化定價模式轉型已是大勢所趨。

如何精準地提供滿足市場發展的凈值型產品，指導渠道的銷售；如何維護銀行理財系統的穩定，平衡資產端的投放，同時提高資金的流動效率；如何有效發掘資產端和負債端的最大化利差，同時提升風險管理的能力，已成為資產管理髮展趨勢中需要深入考慮的問題。同時，資產管理也急需為客戶提供個性化的資產管理服務，以服務於多元化需求。有效預防「資產荒」與「資金荒」的行業問題。加強或重塑投研體系和風險管理體系已成為資產管理的發展重點。

為了滿足資管部門如此眾多的業務分析需求，從數據中獲取大量豐富的信息，輔助支持決策，企業需要打通資產管理部各系統之間的數據屏障並進行相應的融合。

該部門於2017年針對原有數據平台進行了改造，結合大數據的技術優勢與可擴展性，完成並上線了資管大數據集市及相關數據分析應用。在提高數據處理集中化的同時，也極大減輕了IT人員的負擔，同時優化了業務用戶分析數據的流程，提升了數據分析效率，以創新科技來不斷提升企業服務能力，抓住市場機遇。

2.用戶案例

2.1 應用場景

以下例舉該大數據平台上已實現的兩塊多維主題分析。「資產負債分析」提供給業務部門自助分析和取數使用；「企業門戶應用分析」通過提取並分析門戶系統的日誌數據，供IT部門監控與改進IT系統建設。

資產和負債分析

通過分析銀行的資產和負債交易情況，統計並細化資產各分類狀況，如現金、拆出、逆回購、直接投資債券、主動創設資產等，以及結合拆入、正回購、理財產品、結構性存款等負債類別，監控各資產和負債的健康狀況，有效設置預警策略。同時優化資產配置，發掘優質產品類型。可分析的指標包含加權平均期限、剩餘期限、資產買入利率、資產持倉利率、資產投資餘額、負債端募集本金、負債端管理餘額等。

資管部門通過有效利用系統中的業務交易數據，進行資產和負債的監控與分析，洞察資產負載的分布及趨勢，提升企業對資產項目的管理能力與風險的防範能力，對於每一筆投資業務都能做到事前有依據，事中有監控，事後有分析。通過數據信息有效輔助業務的決策。

企業門戶應用分析

利用採集的企業門戶日誌信息，收集用戶使用習慣與系統運行狀況，不斷提高系統的健壯性與門戶的優化，使IT部門能做到對系統進行有目標的改進和投入。例如發現耗時最長／最短的功能；使用頻率最多的業務功能；用戶使用的操作系統、瀏覽器分類；報錯最多的業務模塊，以及錯誤分類；活躍用戶統計分析；系統忙／閑時段分析等。

2.2 問題與痛點

資管大數據集市是由該銀行資產管理部進行建設，實現部室內外系統數據整合，並提供統一的數據服務平台。主要包括跨系統報表、多維數據分析、大數據分析等。

在大數據平台建設之前，數據大多存放在DB2、Oracle等傳統關係型資料庫中，業務人員需要分析數據或提出新的報表需求時，通常都是由IT人員拿到需求之後現場開發，再將整理好的數據發送給業務部門。由於數據存儲分散、再加上數據量越來越大，以及業務數據需求的臨時性和不確定性，這種方式的工作效率越來越低，業務獲取數據的周期越來越長，IT人員的工作量也越來越重。

原數據分析平台遇到的問題如下：

數據分析流程冗長。業務人員對任何已有報表的調整需求，都要嚴重依賴IT人員重新開發並發布，流程複雜，效率低下。
報表查詢變慢。隨著數據量增加，已有的業務報表查詢時間越來越長，單個報表查詢長達數分鐘。
非結構化數據分析難。對系統日誌等非結構化數據的分析需求難以實現，無法快速滿足新興業務場景。
原平台擴展性差。原有數據倉庫的性能遇到嚴重瓶頸，可擴展性極低，受制於國外廠商，成本高昂。
嚴重依賴IT。大量IT資源被浪費在重複性的工作中，無法釋放出來使能新技術、新平台以支撐快速發展的新業務。

3. 解決方案

藉助此次大數據平台的建設機會，IT部門通過多方技術調研，方案研究，性能對比，最終選定以Apache Kylin為核心的企業級智能大數據分析平台KAP做為提升大數據分析能力的利器，構建業務人員和平台內數據之間的橋樑，新的架構和數據分析模式使得數據分析變得極為高效，使能了業務自主化分析能力。

新的大數據平台架構為，Hadoop + KAP + Tableau + 企業門戶。以前存放到DB2、Oracle中的各系統數據，通過集中處理之後統一存入到Hadoop平台；並在KAP中依據不同的業務創建不同主題的數據集市和立方體，然後將業模型發布給業務分析人員。KAP智能分析平台通過數據集市，將生硬的、技術化的表和欄位等轉換為業務人員能夠理解的業務指標和分析維度，使得業務分析人員能夠輕鬆通過前端BI工具如Tableau等對相關數據集市進行自助分析，通過可視化的拖拽方式制定分析思路，依賴於KAP在超大規模數據集上的高速SQL查詢能力，可以快速生成分析結果，進一步優化分析思路和業務決策。

平台上線後，數據分析流程也被重新定義，如上圖所示，原有複雜的分析流程被現在自主的流程取代，將原有幾個星期甚至幾個月的繁重開發，縮短為以周甚至以天為單位的流程，大大提升了生產效率。

IT部門：

Setp 1. 基於業務需求，IT部門準備數據並在KAP中設計基於主題的數據集市。創建好的數據集市會包含該主題中可能用到的各種分析指標和維度，並且轉換為業務人員能讀懂的名稱。

Setp 2. 在統一的任務管理平台上為當前的數據集市創建定時處理任務。用來定時更新數據集市內的數據。（可按天，小時，分鐘等）

Setp 3. 通過前端BI工具（如Tableau）連接KAP，依據KAP中定義的模型關係製作數據模板，並發布到Tableau Server上。

至此IT部門的工作就結束了，剩下的就可以交給業務部門來自助使用，整個過程不需要IT的報表開發人員參與。平均一個數據集市的設計對於IT部門所耗費的時間僅以周甚至天來計算。

業務部門：

Setp 1. 業務分析師通過前端BI工具（如Tableau）連接到Server端IT已發布好的KAP數據集市模型。通過拖拉數據集市中維度和度量指標的方式，進行即席查詢和數據分析。

Setp 2. 業務分析師通過分析和探索數據後，將對業務有重要意義的報表保存和篩選出來，直接發布到BI Server上。然後通知業務的門戶管理員將新報表地址配置到企業門戶中，並設置好相應的訪問許可權。

隨後，業務部門的領導以及所有業務用戶，就能立刻通過統一的企業門戶直接訪問業務分析師為他們準備的數據分析結果，來輔助業務的決策。

整個數據獲取、發布和查看的過程中，完全不需要IT的參與，也不需要等待IT的響應。完全由業務部門自主進行，效率比之前的流程提升了數十倍。數據獲取的周期大大縮短，從而提升業務決策的效率。

業務部門自主定製的數據分析門戶（無需IT參與）：

4. 項目價值

相對於原有的業務數據分析流程，新的平台架構對業務人員進行數據分析的便捷性以及耗時周期有了更全面的改善，同時不再需要重度依賴IT人員的時間。

新的數據分析模式優勢如下：

流程精簡。業務部門可以隨時進行自主化的數據分析和探索，以及管理、更新門戶內的報表。不再需要等待IT項目周期和資源安排，能夠快速響應業務的需求，充分提升數據分析的效率。由於流程的精簡，以及高度的自主化，業務部門對數據分析的過程從傳統的數月可以縮短至以周為單位。
數據查詢響應快。Kyligence智能分析平台既是打通底層數據平台和最終用戶之間的橋樑，又可以用來有效解決Hadoop平台上查詢效率和並發量的問題。之前傳統數倉上查詢需要等待數分鐘的報表，在大數據平台上的查詢性能變為亞秒級，通過KAP達到至少百倍的響應速度提升。
優秀的平台可擴展性。新的大數據平台充分利用Hadoop的可擴展性，集群數據容量和計算能力可以輕鬆擴展至上千個節點。KAP通過直接在Hadoop上構建數據倉庫和集市模型，企業不用再擔心數據量增長而帶來的性能與擴展問題。同時，一套平台即可支持結構化和非結構化的數據分析。
充分保障數據安全性。有效利用業務網和辦公網的網路隔離。數據的加工、處理操作在企業的業務網內進行，在辦公網只擁有對數據查詢的許可權，在數據放權的同時又能充分保證大數據平台內數據操作的安全性。
釋放IT生產力。工作流程簡化，人員消耗精簡，IT人員和業務人員的工作效率都得到極大提升，更多的資源和時間將能夠有效投入到其他新技術、新平台的建設中。

項目小結：

相比於傳統的數據平台架構，大數據平台具有更好的可擴展性，能夠滿足未來五到十年新業務發展帶來的數據容量和性能擴展需求。

Kyligence提供智能大數據分析技術，可極大加速查詢效率，提高並發量，且查詢性能不再與原始數據量相關。解決了原有數據平台隨著數據量增長而變慢的歷史問題和後顧之憂。

該資管大數據平台藉助KAP生成的數據集市模型提供自主分析能力，精簡了數據獲取的流程，降低了數據分析的技術門檻，一套模型可以實現主題內的多個維度分析，極大方便了業務用戶的自助服務，數據分析高度自由化，同時大大減輕IT的負擔。

5. Kyligence及KAP簡介

Kyligence是由Apache Kylin（中國首個Apache 頂級開源項目）核心團隊創建的,專註於大數據分析領域創新的數據科技公司，提供基於Apache Kylin的下一代企業級數據倉庫及商務智能大數據分析平台和解決方案。Apache Kylin是Hadoop生態的重要成員,是首個完全由中國團隊貢獻和主導的Apache軟體基金會頂級開源項目。開源三年來，Apache Kylin已經被國內外超過1000家公司所使用，包括eBay，Expedia，百度，網易，京東，美團，唯品會等國內外大型互聯網公司，以及眾多來自電信、金融、製造等傳統行業的領先企業，包括陸金所、太平洋保險、國泰君安、華泰證券、華為、聯想、OPPO、中國電信、中國移動、中國聯通等。Kylin技術被廣泛應用於大數據分析平台、OLAP多維分析、數據服務平台、自助查詢平台、客戶畫像、在線報表等多種大數據分析場景中。

Kyligence Analytics Platform大數據智能分析平台（以下簡稱KAP）是基於Apache Kylin的企業級軟體產品，在超大數據集上提供亞秒級分析的能力，同時為業務用戶、分析師及工程師提供簡便、快捷的大數據分析服務，擁有超高性能、免編程開發，多協議支持、非侵入式部署等突出優點，並且KAP在企業用戶所關注的應用場景豐富、實施效率、安全可控、存儲效率、性能優化、自助式敏捷BI、系統監控等方面進行了全方位的完善和創新，是目前業界領先的大數據智能分析平台解決方案。

聯繫我們：info@kyligence.io