金融級資料庫的未來發展方向
近年來,全球金融科技每年的投入已經超過500億美元,中國的金融科技發展更是引領世界潮流。在金融科技不斷發展的今天,中國金融互聯網化和零售化的發展愈加激烈,使得我國金融業務與科技的有機結合應用模式備受世界矚目。
對應著高速發展的業務模式與創新,現代金融系統亟需技術架構的革新來滿足日益增長的業務需求。這其中包括了業務系統敏捷性、風險控制、成本控制、性能和業務發展對應的彈性增長能力。
在信息化時代的今天,資料庫承載著金融企業的核心數據。作為新技術架構的樞紐,金融級資料庫是現代金融系統轉型與革新的基礎。
2017年9月,Gartner與巨杉資料庫聯合發布了《金融級資料庫的未來發展方向》報告。報告為業界闡述了當前需求下金融級資料庫的技術革新以及未來發展方向的趨勢。
引言
長期以來,金融級資料庫市場被Oracle、IBM DB2、Microsoft SQLServer等傳統關係型資料庫所壟斷。在經歷了幾十年的發展與迭代後,傳統關係型資料庫已經無法適應新型金融科技發展的需要。因此,由新型分散式資料庫替代傳統架構,成為金融級資料庫市場的主流趨勢。
在過去的幾十年中,受限於傳統資料庫的存儲與計算能力,企業中不同業務部門之間的數據往往以獨立的方式分別存放。而伴隨著金融科技新型業務的不斷發展,跨部門、跨業務的數據訪問成為企業的核心需求。但是,各業務系統獨立存放的數據往往形成一個個「數據孤島」,使得企業內部的數據管理面臨極大的挑戰。
新型分散式資料庫的出現旨在打破傳統數據管理的體系,將跨業務、多類型的數據進行統一的管理與維護,從數據的層面將企業內部的各個部門與業務線融會貫通。
為了實現這個目標,新型金融級資料庫需要在分散式架構、多模式數據管理、標準化數據訪問、數據可靠性、與混合負載等幾個角度對傳統資料庫架構進行重新定義。
分散式架構
伴隨著金融科技的互聯網化,傳統資料庫架構已經無法承載爆炸性增長的海量數據。同時,互聯網渠道的大規模引入,使得金融科技應用對資料庫的並發能力與性能產生新的需求。
由於傳統資料庫的單點架構無法滿足新型金融科技應用對數據量與並發能力的需求,新一代金融級資料庫必須採用分散式架構來應對該類挑戰。
在傳統資料庫架構中,企業必須通過不斷增強單一硬體設備處理性能的方式,來提升資料庫的存儲與處理能力。但是,在信息爆炸的今天,硬體性能的提升遠遠落後於數據量的增長。因此新型資料庫採用分散式架構,將海量數據均勻存儲在多台物理設備中,以避免單一設備所造成的瓶頸。
同時,分散式資料庫的靈活擴展能力,為金融業務增長提供了彈性的容量與性能支持,在大規模數據應用中具有明顯的技術優勢。
此外,使用PC伺服器或雲環境,新型分散式資料庫在保障安全可靠的前提下,能夠有效降低TCO,提升開發與運維效率。
多模式數據管理
如今,在金融業務「互聯網化」和「零售化」的趨勢下,金融機構開始向用戶提供更多個性化、定製化的產品與服務。同時,伴隨著各個業務系統自身複雜性的提升,系統之間的關聯性也在不斷增強。因此,應用系統對數據的存儲管理提出了新的標準和要求。
一直以來,傳統關係型資料庫僅支持表單類型的結構化數據存儲和訪問能力,而對於層次型對象、圖片影像等半結構化與非結構化數據管理無能為力。
為了實現金融業務數據的統一管理和數據融合,新型資料庫需要具備多模式(Multi-Model)數據管理和存儲的能力,以滿足應用程序對於結構化、半結構化、非結構化數據的管理需求。
通常來說,結構化數據特指表單類型的數據存儲結構,典型應用包括銀行核心交易等傳統業務;而半結構化數據則在用戶畫像、物聯網設備日誌採集、應用點擊流分析等場景中得到大規模使用;非結構化數據則對應著海量的的圖片、視頻、和文檔處理等業務,在金融科技的發展下增長迅速。
多模式數據管理能力,使得金融級資料庫能夠進行跨部門、跨業務的數據統一存儲與管理,實現多業務數據融合,支撐多樣化的金融服務。
標準化數據訪問
隨著多業務、多模式數據的統一與融合,不斷增強的業務多樣性、複雜性使得數據訪問方式面臨了新的挑戰。
在傳統資料庫中,SQL幾乎是資料庫唯一的訪問方式。而隨著業務多樣化的發展,非結構化和半結構化數據在金融科技應用的比重不斷增大。因此,新型分散式資料庫除了需要對結構化數據提供標準SQL語言的支持,還需要針對半結構化、非結構化數據提供如JSON、對象存儲管理等訪問能力。
標準化數據訪問能力既滿足了多類型數據管理的需求,也為企業有效提升了開發與運維的效率。因此,金融級資料庫作為新金融科技架構的樞紐,需要為應用程序提供標準化的數據訪問能力。
數據安全
伴隨著在企業內部價值的不斷提升,數據已經成為了金融企業的生命線與核心資產。作為承載著企業關鍵數據的資料庫,其安全性、可靠性、穩定性一直是金融級資料庫的核心價值。
同時,無論在中國還是海外,金融行業的數據安全已經成為了監管機構的首要要求。例如,銀行核心系統安全一直是我國銀監會所關注的重點,大部分銀行數據中心早已具備高可用與「兩地三中心」的能力。
但是,在分散式架構中完美實現高可用與容災面臨著諸多技術挑戰。一般來說,以統計分析為目標的分散式資料庫相對弱化了該部分的功能,而面向在線與交易業務的分散式資料庫則對數據安全保持了高標準的嚴格要求。
例如,數據容災與雙活是金融企業數據安全的最後保障。容災要求數據在多個中心進行實時互備,一旦數據中心發生重大災難,所有在線生產業務可以及時切換中心繼續運行。而雙活則是在容災的基礎上,讓主備數據中心同時承擔生產業務,充分利用雙活能力提升業務性能,進一步減少災難發生時的宕機時間。
混合負載
伴隨著業務多樣化與數據大融合,不同的業務對於數據管理的功能要求也不盡相同。由於傳統資料庫的數據存儲與訪問方式單一,用戶通常將應用分為在線業務與離線業務兩類。
在線業務一般表示如銀行核心交易系統等面向最終用戶的業務系統。通常來說,這類系統需要滿足高並發、低延時、高可靠等特性。而與之對應的離線業務則專註於批處理作業。一般這類業務具有高吞吐量、低並發、高延時等特徵。
隨著金融科技業務的不斷發展與融合,各業務條線對於數據的需求也不再完全獨立。在該趨勢下,金融級資料庫需要同時支持在線業務與離線業務的混合負載。
根據Gartner的最新定義,混合負載(HTAP Hybrid Transactional/Analytical Processing)在保留原有在線交易功能的同時,也強調了資料庫原生計算分析的能力。支持混合負載的資料庫能夠避免在傳統架構中,在線與離線資料庫之間大量的數據交互,同時也能夠針對最新的業務數據進行實時統計分析。
為了避免在線實時讀寫與批處理作業之間的資源干擾,混合負載型資料庫通常使用讀寫分離或內存處理技術實現。一般來說,分散式資料庫的多副本架構天然支持讀寫分離技術,而基於傳統架構的資料庫往往採用內存處理技術進行實現。
關於中國金融級資料庫發展
長久以來,金融行業在全部企業級IT投入中一直佔據50%以上。在幾十年業務發展與強監管的要求下,金融機構普遍對資料庫的安全性、可靠性、穩定性有著全行業最為嚴苛的要求。因此,滿足金融行業需求的金融級資料庫產品已經成為全部行業中的標杆。
與此同時,中國的商業銀行的用戶數量也一直保持世界前列。隨著中國經濟快速發展以及普惠金融、交易銀行等業務和政策的推廣,中國的商業銀行業務也在向「互聯網」、「零售化」不斷轉型。這使得銀行與最終用戶距離更貼近、交互頻率更多、業務場景更多樣。這些新需求促使中國的金融和銀行業技術轉型不斷加速,並在多種技術與業務模式上走在世界前列。
另一方面,資料庫產品的發展成熟周期漫長。一般來說,一個在金融行業大規模使用的資料庫產品,需要在技術、產品、工程、售後支持以及行業經驗上具有相當長時間的積累才能慢慢走向成熟。
此外,不同於應用軟體,作為基礎軟體的通用資料庫產品要在各類客戶中滿足各種業務需求,而不僅僅只為單一特定的場景服務。這要求資料庫廠商牢牢掌握產品核心代碼以及發展方向,從而能夠在快速應對客戶各類需求的同時,保證高度的產品化與標準化。同時,金融級資料庫產品所面對的銀行、證券、保險等頭部行業對產品的質量與穩定性要求極高,這使得用戶對金融級資料庫在產品上的複雜度與成熟度又提出了更高層次的要求。
在這樣的背景下,巨杉資料庫作為我國自主研發的金融級資料庫產品,其技術方向領先、應用場景多樣、並且在金融企業中得以大規模應用。因此,巨杉資料庫的不斷蓬勃發展也得到了國際業界的矚目和認可。
查看報告原文請前往
《金融級資料庫未來發展方向》
推薦閱讀: