Gartner 2016年商業智能與分析平台魔力象限
作者 :呂品,天善智能聯合創始人&運營總監;11年 IT 行業工作經驗,7年商業智能 BI 工作經驗;微軟 2015、2016 MVP。(微信號:tianshanlvpin)
博客園曾用 ID:BIWORK。
如何看懂魔力象限
Magic Quadrant 魔力象限以二維模型來闡述各個廠商、供應商的實力與差異,基於兩個分析指標方向。
- 橫軸:前瞻性(Completeness of Vision),包括廠商或供應商提供的產品底層技術基礎的能力、市場領導能力、創新能力和外部投資等等。
- 縱軸:執行能力(Ability to Execute),包括產品的使用難度、市場服務的完善程度和技術支持能力、管理團隊的經驗和能力等。
最後將這些分析指標綜合起來定位在四個不同的區域:
Niche Players 利基者、投機者
執行能力(Ability to Execute)和前瞻性(Completeness of Vision)都不足,但是可能在特定的某個市場做的不錯,同時也不會超過那些特別大型的成熟廠商或者供應商。通常是集中在某些特定領域、專業領域,或者是一些比較新的企業。
Challengers 挑戰者
執行能力(Ability to Execute)很強,但是前瞻性(Completeness of Vision)不足。通常情況下是指比較大型的成熟廠商,由於其本身特定市場比較成熟、市場執行能力很強,但是在新領域新市場的拓展上目前還沒有做出太多的發展計劃改變。作為挑戰者,在繼續保持強有力的執行能力的同時,如果在市場前瞻性上能夠調整和突破,是非常有希望進入領導者(Leaders)區域的。
Visionaries 有遠見者、願景者
Visionaries 本身這個詞的詞義是指空想主義者、願景者,但是放在這裡還是用遠見者描述更加合適。通常描述前瞻性(Completeness of Vision)很不錯、了解未來的市場發展動態和前景,有潛力進行創新。在執行能力(Ability to Execute)上分為有遠見但是短期內無法實現的早期創業者,和一些有遠見但是執行反應能力調整不及時的比較成熟的大型廠商、供應商們。所以對於在這個區域的廠商或者供應商,一般要麼就是早期市場中剛成長起來的中小企業,有創新能力有遠見,一旦在市場執行得到提升也是非常有希望進入到領導者(Leaders)區域。
以 2016 Gartner 發布的有關數據倉庫及數據管理解決方案市場的魔力象限(Magic Quadrant for Data Warehouse and Data Management Solutions for Analytics)為例。在對全球21家廠商進行對比分析後,Gartner 分析報告首次出現了來自中國的公司星環科技 Transwarp,唯一一家出現在該領域的中國公司,也是魔力象限遠見者 (Visionaries) 領域中全球最具有前瞻性(橫軸最遠)的公司。在 Hadoop 發行版廠商中,在前瞻性(Completeness of Vision)上已經超過了 Hadoop 領域的知名初創公司 Hortonworks、Cloudera 和 MapR。 星環科技在執行能力(Ability to Execute)上來看,目前也與以上提到的三大 Hadoop 廠商差距不大,如果能夠在執行能力上繼續得到提升的話,相信在不久的將來在數據倉庫及數據管理解決方案(Data Warehouse and Data Management Solutions )的領導者區域應該可以看到中國廠商的身影。
Leaders 領導者、行業領袖
執行能力(Ability to Execute)和前瞻性(Completeness of Vision)得分均比較高的大型成熟公司、行業領袖。他們擁有大量的客戶群體,在全球市場上都有極高的知名度。這些行業領袖在市場中有很大的影響力,有能力有實力影響和引領整個行業的發展。
以上圖為例,在數據倉庫及數據管理解決方案(Data Warehouse and Data Management Solutions )的領導者區域還是以 Oracle、Teradata、IBM、SAP、Microsoft 這些傳統巨頭為主。同時也可以看到 Oracle 在執行能力上要遠遠高於其它廠商,在前瞻性上要稍微落後於 Teradata 和 IBM。但這幅圖最可怕之處是這五大廠商在領導者區域的位置已經深入領導者象限腹地,與挑戰者或是遠見者的平均得分的差距還是非常大的,可以說是行業的絕對領袖。
Gartner 2016 年商業智能與分析平台魔力象限背景介紹
Gartner 在2016年發布了商業智能和分析平台的魔力象限 (Magic Quadrant for Business Intelligence and Analytics Platforms)報告。
每一個魔力象限報告都會附帶相關領域的分析場景和核心指標,通過對這些核心指標對 BI 商業智能和分析平台廠商或供應商進行評測,結合執行能力和遠瞻性最後劃分各大廠商在魔力象限中的位置。以下對商業智能和分析平台的核心用例場景和指標做出說明。
五個核心用例場景
- 敏捷和集中的 BI 準備平台:自帶數據管理平台,能夠支持敏捷化的 IT 工作流程,從數據到集中交付實現以及內容管理。
- 分散化的數據分析:支持從數據到自助分析的工作流程,即數據可分發控制交由例如業務人員,以進行自主化的數據分析。
- 數據治理與發現:實現對數據的自助分析、系統記錄、IT 管理的控制性、可重用性和促進能力。
- 嵌入式 BI:能夠在其它流程或者應用中嵌入此 BI 平台分析結果或者內容。
- 外部部署與訪問:能夠控制和支持外部用戶、公共部分甚至市民對於分析內容的訪問,即良好的許可權和安全控制以及訪問能力。
通過對這五個核心用例場景分解又具體形成了以下具體的四大類共計 14 項分析指標,分別是:
- 基礎架構 (Infrastructure):側重商業智能部分的基礎應用組成,平台的管理、雲服務、用戶和安全性以及數據源支持等。
- 數據管理 (Data Management):側重商業智能的數據集成與管理部分。
- 分析和內容創建 (Analysis and Content Creation):側重分析部分,分析功能、報表組件與展現和交互能力、移動支持能力。
- 發現與共享 (Sharing of Findings):側重分析部分,部署與發布、與其它應用集成以及平台協作與社交等。
可以看得出,這個魔力象限的分析一是側重商業智能的定義域組成,二是突出和強調分析能力。
下面對這四大類和14項分析指標做出具體描述和分析。
基礎架構 Infrastructure
- BI 平台的管理(BI Platform Administration):支持對 BI 平台的檢測、性能調優、高可用性和災難恢復。
- 雲 BI (Cloud BI):平台即服務、分析即服務,用戶可以在雲端創建、部署和管理分析內容和分析應用,數據可以部署在雲端或者本地。
- 安全性和用戶管理 (Security and User Administration ): 平台安全性管理、用戶管理方面的控制能力。
- 數據源連接的支持 (Data Source Connectivity):有能力支持用戶連接結構化或者非結構化的數據,以及支持各種數據源的訪問能力,無論是本地還是雲端的數據存儲平台。
數據管理(Data Management)
- 元數據管理和治理 ( Governance and Metadata Management): 支持用戶能夠共享一些相同的記錄系統語義模型或者元數據。能夠提供強健的和集中化的方式供管理員查詢、捕獲、存儲、重用和發布元數據結構,比如維度、層次結構、度量值、KPI 以及各種報表對象包括參數等等。管理員有能力提供業務人員所需要的數據模型以及一些元數據模型。
- 齊全的 ETL 功能和數據存儲 ( Self-ETL and Data Storage): ETL 功能的支持,平台有能力訪問、集成、清洗轉換和載入數據到自帶的數據存儲層,有能力建立索引數據、管理數據載入和定時刷新載入數據功能。
- 自助服務數據的準備(Self-Service Data Preparation): 可拖放的、用戶驅動的可鏈接多個數據源的數據獲取能力,創建多種分析模型包括用戶自定義的度量、集合、組和維度層級結構。高級的支持應該包括語義自動發現和轉換、數據智能關聯和識別、維度層次自動創建、基於多數據源甚至不同數據結構間的數據源中的數據關聯。
分析和內容創建 ( Analysis and Content Creation )
- 自帶的高級分析功能(Embedded Advanced Analytic):用戶很容易的就可以訪問平台自帶的分析內容,或者很方便的訪問導入的或者外部部署的分析內容。
- 分析儀錶盤 (Analytic Dashboards): 有能力創建高可用的交互性的儀錶盤或者其它內容,可視化的數據探索,支持高級的地理分析等內容。
- 可交互的可視化數據探索( Interactive Visual Exploration):提供豐富的圖表、自定義的顏色、亮度、大小、形狀以及各種基於數據集的可視化數據分析方式。遠遠不僅僅是普通的餅狀圖、柱狀圖、線狀圖,應該包括熱點圖、樹狀圖、地理空間圖表、散點圖以及其它各種特別目的的圖形。上面的一切圖形圖表能夠支持用戶的各種分析目的,通過可視化的方式直接在報表上交互並做出分析。
- 移動支持能力 (Mobile Exploration and Authoring):有能力支持公司組織對於移動端的開發和部署,能夠和移動端設備自身的本地功能例如觸摸屏、照相機、地理位置識別包括本地語言查詢等。
發現與共享 Sharing of Findings
- 可嵌入的內容分析( Embedding Analytic Content):有標準的 API 介面可供訪問來創建或者編輯分析內容、可視化效果和應用程序。可將分析結果嵌入其它商業流程、商業應用或者發布至報表中心,這些分析結果是可被其它外部應用重複使用,能夠很容易的無縫集成,並且不需要用戶在不同的系統中切換。
- 發布和部署( Publishing Analytic Content):支持用戶能夠發布、部署和操控分析內容,有多種導出和分發方式,支持內容搜索、講故事 Storytelling 以及定時和提醒等功能。
- 平台協作與社交(Collaboration and Social BI):允許用戶分享和討論、在線分析、分析決策、聊天、備註與協作等。
通過以上的五個核心用例場景的邊界劃分,四大類14個核心指標的分解,Gartner 在2016年2月發布了這樣的一副魔力象限圖。
Gartner 2016 年商業智能與分析平台魔力象限解析
我們再來回顧一下 2016年2月4日發布的 Business Intelligence and Analytics Platforms 商業智能與分析平台這幅魔力象限圖。
商業智能和分析平台魔力象限的特點
在這幅圖中,入選魔力象限的20多個廠商整體的表現特點大致總結如下:
- 整體執行能力(Ability to Execute)不高。即產品的使用難度、市場服務的完善、技術支持能力和團隊管理的經驗和能力在某些方面或者環節不高。即使是入選領導者(Leaders)象限的 Tableau、Qlik 和 Microsoft 並沒有真正深入領導者(Leaders)的腹地。
- 具備前瞻性(Completeness of Vision)的產品很多。即產品底層技術基礎的能力,市場的領導能力,創新能力等各個廠商的投入還是比較大,Microsoft 的表現尤為突出。
- 業務驅動分析的自助式分析廠商更受市場青睞。領導者象限(Leaders)在商業智能和分析領域只有三家,以 Tableau 和 Qlik 為例,兩者都具備很強的可視化交互、探索和展現能力,而 Microsoft 具備完整的 BI 架構應用體系以及 Office Excel,Power BI 產品也在可視化領域有很大突破。
如果對比 2015年和2016年商業智能和分析平台對比會更強烈。
魔力象限 2015年對比2016年發生的變化
在 2015年的商業智能和分析平台中,位於領導者(Leaders)象限中擠進了 9 家廠商,挑戰者(Challengers)2家,遠見者(Visionaries)只有3家。而在 2016年,挑戰者直接被清空了,更多的廠商擠進了遠見者(Visionaries)象限,幾個特點:
- 位於領導者(Leaders)象限的 Tableau 在過去的一年中,在執行力指標上面急劇下滑,Qlik 稍微下滑,最後落在去年同期與 Microsoft 幾乎平行的位置。
- Microsoft 在前瞻性(Completeness of Vision)方面進步很快,已經處於領導者象限前瞻性的第一集團位置,說明 Microsoft 已經對現有的商業智能和分析平台的工具做出了大量的補充和創新,投入了較大的精力。從2015年收購了 Datazen 移動端產品(可參考我的另外一篇文章 - Microsoft BI 家族新成員 Datazen 移動BI 介紹)並且加快了 Power BI 產品的推進。
- 總體上在位於領導者(Leaders)象限中仍然沒有一個深入腹地在執行力還是前瞻性上同時取得居中的位置,說明這一部分的市場還會有更多的發展機會。
- 傳統的重型資料庫服務商 BI 產品的代表 Oracle、IBM、SAP 統統移出領導者(Leaders)象限,他們的商業智能平台本身的基礎架構和數據管理這兩類指標還是具備很強大的實力,但是由於在分析和內容創建、發現與共享這兩類指標上沒有很好的提升而掉入遠見者(Visionaries ) 象限,甚至 Oracle 已經被移除 2016年的魔力象限。這說明了在對於商業智能平台和分析兩個方向的發展,市場的需求越來越多的是傾向於可視化分析這個主題。集成的 BI 平台固然重要,但是不能夠提供敏捷的數據分析與自助式的分析服務以及各種移動端的分析支持能力,也最終會影響市場對於商業智能平台和分析工具的選擇。Tableau 和 Qlik 就是一個很好的例子,都傾向於可視化分析的能力,Microsoft 對可視化分析的應用進行了補充配合強大的商業智能平台留在了領導者(Leaders)象限。
- 市場的變化必然會導致 BI 的實施流程和方法論的變化,由重型 BI 方法實施必然走向輕型 BI實施。
領導者象限三個產品的簡單介紹
Tableau
定位為個人友好和部門級的報表展現和分析工具,業務驅動類型,業務人員驅動和主導的自助分析產品。擁有非常豐富的可視化組件和展現分析能力,使用者也通常是業務分析人員和管理層。但產品沒有專門的 ETL 清洗能力和數據集成以及治理平台,對於數據格式的要求還是比較高的,通常為清洗之後乾淨的結構化的數據。
Qlik
包括 QlikView 和 QlikSense 兩大產品,其中 QlikSense 可以理解為 Tableau 的直接競爭產品。Qlik 是一個半 IT 半業務主導的報表分析工具,後端可以通過腳本實現比較複雜的 ETL 功能,包括數據的抽取轉換清洗等工作,但沒有可視化的 ETL 操作能力。在前端分析上也可以交由業務人員自主開發報表和實現交互性分析,可以認為由 IT 主導數據的抽取與準備,由業務主導數據分析工作。
Microsoft
這次魔力象限實際上調研的是針對於微軟的 Power BI。但是我要說的是微軟的產品線還是非常豐富的,不僅具備完整的 BI 集成平台(從 SQL SERVER 資料庫到 SSIS ETL, SSAS 多維分析 到 SSRS 報表展現),同時增強了 Office Excel , Power BI 等可視化產品的功能,包括對於移動端的支持。既能支持傳統的 BI 實施,數據倉庫建模,也能提供類似於 Tableau,Qlik 的業務主導型的自助式可視化分析能力。但在可視化分析、用戶體驗、交互性、移動端、實施能力和支持方面還是比 Tableau、Qlik 仍然有一定的差距,但正在投入和追趕。在過去的 Power BI 使用上是基於 Office Excel 的插件支持(Power Pivot、Power View、Power Map),這些已經集成在新的 Office 2016 中,重點是 Power BI Desktop 的發布,直接競爭對手就是 Tableau,要搶佔部門級的個人級的自主分析市場。
國內市場的商業智能和分析平台的特點和機會
國內市場空間仍然非常巨大,個人總結有以下幾個特點和變化:
1. 傳統的 IT 應用系統已經非常普及,數據多年的沉澱需要被挖掘利用。目前基本上沒有哪一個傳統行業沒有 ERP、OA、CRM等業務系統,從北上廣深一線城市到二線甚至三線城市,IT 應用的普及與發展已經非常成熟,沒有業務系統的支撐是無法生存下去的。經過多年的數據積累和發展,已經具備商業智能BI和分析所需要的數據基礎。
2. 商業智能 BI 和分析的門檻逐步降低,商業智能 BI已經成為企業 IT 部門的標配。在2010年、2011年以前,我們在招聘網站上搜索 ETL 相關的職位不過幾頁,可見企業多 BI 的需求並不是非常多。一方面是數據的積累沒有到一定的量,第二方面是商業智能 BI 的成本,無論是軟體成本還是人力成本都非常高。當時能夠有能力採購商業智能BI 系統的基本上是以金融銀行、保險以及大型醫療製造行業為主。涉及到軟體也基本上是比如 Oracle、SAP、IBM 等旗下的 BI 產品,這些對於一般中小型企業成本太高。而人力成本則是傳統的 BI 實施周期長、相關人才招聘困難導致。而目前雖然也需要採購商業 BI 產品,但是總體來說產品的選擇性更加豐富,人才的儲備比當時也容易很多。所以,在現在商業智能 BI 慢慢不再是奢侈品,已經逐漸成為企業整個 IT 架構的功能模塊和標配環節。
3. 市場競爭和經濟環境的影響促使企業更加重視精細化運營和管理的投入。比起以前開放式的粗放型的管理,在遇到經濟環境整體不利和更多的市場競爭情況下,勢必會更加註重梳理和控制企業的各個環節,而用來找到「癥結」和應對市場快速反應的唯一方式就是管理和利用好數據,用數據說話。
4. 以 IT 主導的商業智能 BI 和分析逐步演變為向以業務為主導的自助式分析過程。在過去的傳統的商業智能 BI 系統開發和報表系統基本上都是以 IT 部門為主導的,從需求的提出到數據展現報表的分發通常需要很長時間,嚴重的阻礙了業務部門的日常運作需要。所以如何解放 IT 部門,讓 IT 部門只負責 BI 系統的管理與維護,讓業務部門自主進行數據報表的製作和展現分析就變得尤為重要。我曾參加過大眾金融的 BI 項目,通過 IT 部門部署和維護的 BI 系統,業務人員通過 BI 部門的培訓可以自主製作報表用來支持日常的業務分析。據日誌系統記錄,200多個用戶總共創建了近3000張自定義的數據分析報表,日常常用報表占報表總數 50%以上。如果這些數據分析報表全部由 IT 部門來承擔,僅靠幾個 BI 開發人員是無力支撐這麼龐大的工作量的。好處顯而易見,既減少了 BI 團隊的投入,又提高了工作效率。
所以總結來說,目前在國內市場上商業智能BI和分析平台的空間仍然很大。商業智能BI和分析門檻降低,解放 IT 以業務驅動和導向的數據分析平台這是一個必然趨勢。
國內商業智能和分析平台廠商的機會
國內商業智能和分析平台的廠商的機會主要體現在行業、本地化和服務技術體系、用戶體驗和市場響應速度上。
第一,國內廠商與傳統行業結合程度比較高。與領導者象限的三巨頭 Tableau、Qlik、Microsoft 不同,國內的一些商業智能和分析平台廠商大多起家於前端報表系統。像國產報表系統中出現比較早的像帆軟、Smartbi、潤乾、奧威 Power-BI 等,由於進入各個行業比較早,隨著產品的不斷迭代更新和完善,在某些行業已經打下了比較深厚的市場基礎。特別是在金融、銀行、製造等傳統行業,大都擁有著自己的一批忠實的客戶基礎和市場渠道。而隨著大數據時代的到來和自助分析的需要,國內也出現了像永洪科技這樣的一些基於大數據可視化數據分析的優秀廠商,目前這些廠商也深入到一些互聯網、金融、電信、物流等行業。
第二,國內廠商本地化程度更高、服務技術支持體系以國內客戶為主,響應更快更直接。與國外廠商不同的是,國內廠商的產品本地化比較容易實現,比如像一些中國式的報表、數據補錄與填報等這些特殊要求國外廠商基本是無法實現的。另外,國外廠商的服務與技術支持大多還是停留在官方的社區論壇(面向全球),對於國內本地的一些客戶來說更願意選擇直接的電話與專門的售後服務技術群來進行溝通。
第三,市場反應更快,把握客戶需求的響應速度更快,產品更新迭代效率更高。對於產品的迭代更新,國內很多廠商有充分的一手市場調研和客戶接觸機會,對於產品功能的調整與完善是完全隨著市場的變化而變化的。而對於國外廠商來說,在中國市場的投入更多的是市場和銷售方面的資源,產品和技術研發都在國外,基本上對於一些產品的改進建議至少在國內還是缺少非常直接的溝通渠道的。在我從事微軟 BI 開發的那幾年中,對於微軟 BI 部分產品的吐槽幾乎是得不到有效回應的,曾經也提交過產品的有關 BUG,即使被微軟官方確認但是基本上也是經過多個版本才得到妥善解決的。
第四,國內技術的追趕和超越。其實時到今日,我們不得不承認在整個行業,從底層商業資料庫、企業級商業智能 BI 產品、大數據商業產品、數據挖掘到數據分析工具基本上是被國外廠商所壟斷。但是我們也欣喜的發現在某些領域已經有所改變,在我接觸的一些客戶項目案例中,國內永洪科技的大數據可視化分析工具在TB級以上PB級數據處理分析能力的表現要遠遠高於國外某同類產品。包括在本文開始前提到的星環科技 Transwarp 也已經進入了遠見者象限,並且在前瞻性上領先於 Hortonworks、Cloudera、MapR,這些都是一些非常積極的變化,好的變化。
所以,我個人認為國內廠商的發展空間和市場潛力仍然非常巨大,結合產品本地化、技術支持與服務、用戶體驗和技術的進步與提升,用心面對客戶,相信還是能取得不錯的成績。
推薦閱讀:
※數據可視化基礎——數據模型
※R語言可視化學習筆記之ggpubr包
※R-ggridges包的改進
※仿經濟學人——矩陣氣泡圖
※Excel圖表的基本類型與選擇