國內真正的大數據分析產品有哪些呢?只求乾貨爆料,不要廣告商!
感覺魔鏡啊永洪BI啊都只是一個可視化的過程,國內好像都偏向於可視化,我想請問下 真正的分析產品,類似華為Fusion和DataCanvas這種的,國內這些分析產品的區別點和價值在哪裡呢?
不要廣告,只求分析!拜謝啦
大數據的概念太泛了,即使是大數據分析,不同層級的產品也有很多,就如你說的國內最多的是數據應用類的產品。
1、 大數據平台,華為和星環。華為-FusionInsight,基於Apache進行功能增強的企業級大數據存儲、查詢和分析的統一平台。星環,基於Hadoop生態系列的大數據平台公司。
2、 雲端大數據,阿里雲和華為雲。阿里雲實力不差,與亞馬遜AWS抗衡,做公有雲、私有雲、混合雲,面向中小型企業。華為雲,定位運營商和大中型企業,依傍數據安全。
3、 數據應用方面,圍繞大數據BI和報表的帆軟、大數據展示的海雲數據,SAAS級可視化工具海致,特定業務應用的雲CRM的紛享銷客和等等。數據應用現在主要分為兩種模式,一種是純正IT類,圍繞企業部署應用的,如帆軟。還有一類是互聯網2B形式,主要是SAAS產品,如銷售易。
再來看一下大數據處理的流程,可以分為數據採集、數據存儲、數據提取、數據挖掘、數據分析,數據展現和應用。目前產於這些流程的產品都可以冠上「大數據」的稱號。題主所說的產品只是應用大數據分析流程上的不同環節。
其次糾正一下,國內的應用確實偏向於可視化,但也不能一概而論。大多數我們所了解的BI產品如Tableau涉及到的是數據分析、展現、應用層面。不過像帆軟的BI工具FineBI提供cube型的緩存機制(數據倉庫(存儲功能)),也與R語言集成做數據挖掘這一塊,延伸的觸角會越來越多,也類似在做一站式的平台。
不過BI歸BI,不能歸類於大數據,大數據的每一塊可以分開,BI還是涉及數據化管理的一種解決方案,內涵不同。
最後,獻上一張某互聯網電商結合大數據和BI應用的框架圖,不懂歡迎討論。
——轉載自 @阿爾法汪 的原創內容。
BI(BusinessIntelligence)即商業智能,越來越多的智能軟體供應商推出可視化數據分析工具,應對企業業務人員的大數據分析需求。然而如果你覺得不是數據分析專業、沒有挖掘演算法基礎就無法使用BI工具?NO,自助式分析工具已經讓數據產品鏈條變得大眾化,。為了更好地幫助讀者選擇分析工具,本文將為介紹數說立方、海致BDP等11款BI-商業智能產品,排名不分先後!
1、數說立方數說立方是數說故事新推出的一款面向數據分析師的在線商業智能產品。最重要的特點是配備百億級社交資料庫,同時支持全網公開數據實時抓取,從數據源端解決分析師難點;另外數說立方搭載了分散式搜索、語義分析、數據可視化三大引擎系統的海量計算平台,實現數據處理「探索式分析」和「秒級響應」的兩個核心功能。同時數說立方是數說故事三大主打產品之一,並與其他兩大產品數說聚合和數說雷達實現從數據源、數據分析、到數據展示完整的數據解決方案。
優點:
- 即便是個人免費版,體驗和功能仍然非常好;
- 與自家產品「數說聚合」的無縫接入,支持定向抓取微信、微博等數據;
- 功能完善,集數據處理、特徵工程、建模、文本挖掘為一體的機器學習平台;
- 可視化視圖展現、友好的客戶感知頁面;
- 支持SAAS,私有化部署,有許可權管理;
缺點:
- 產品新上市,操作指導頁不太完善;
- 體驗過程中有一些小bug;
體驗網址:數說立方
2、數加平台
數加是阿里雲發布的一站式大數據平台,可以提供數據採集、結構化、加工到展示分析整套的一站式數據服務。 可採集不同系統及物理存儲的源頭數據,在分散式計算平台上進行數據的深度整合、計算、挖掘,將計算的結果通過可視化的工具進行個性化的數據分析和展現,也可直觀的展示分析現有雲上業務系統的資料庫數據。
優點:
- 有完整的產品規劃,功能完善;
- 圖形展示和客戶感知良好;
- 提供SQL查詢;
缺點:
- 需要捆綁阿里雲才能使用,一般用戶還不能真正使用起來;
- 部分體驗功能一般,有一定的學習成本;
體驗網址:阿里雲-數加
3、TableauTableau是目前市面上較為成功的BI工具。產品既有針對性,又有普適性。拖放式界面,操作簡單。數據兼容性強,適用於多種數據文件與資料庫,同時也兼容多平台,windows、mac、Online均可使用。而且重要的一點是免費為用戶安排現場培訓或按需求進行在線培訓。
優點:
- 處於行業領導者地位,功能完善;
- 有較好的圖形展現與客戶感知;
- 新產品開始支持雲端展現,但是需要客戶端支持;
缺點:
- 相比於商業智能BI,更像一個基於數據查詢的數據展示工具;
- 處理不規範數據、轉化複雜模型比較難;
- 無法處理大量數據;
- 國內網路連接Online版速度較慢;
體驗網址:商業智能和分析
4、QlikQlikView只需輕輕單擊幾下,就可以對所有數據源進行合併、搜索、可視化和分析,可在不影響性能的前提下連接到多個數據源;其次視圖種類豐富,界面簡潔,互動性強,總體來說是一款簡單易用的BI產品。Qlik用戶可通過各類可視化效果,將Qlik擴展到任何應用程序中。另外用戶也可以通過使用標準的和最新的網路API,可將可視化效果數據嵌入網站或應用程序。
優點:
- 產品功能完善,圖形展現和客戶感知良好;
- 支持SAAS,有許可權管理功能;
缺點:
- 有一定的學習成本;
- 報表規範性要求很高;
- 數據抓取功能都非常弱,需要有非常好的數據倉庫作為基礎;
體驗網址:商業智能和數據可視化軟體
5、SpotfireSpotfire服務對象是一線工作人員和日常決策人員,其交互界面形象易懂,無需寫腳本語言和編寫程序就可以對數據進行添加、分離操作。內置搜索引擎,可以隨意查找任意信息。支持R、S+等統計、挖掘功能;有豐富、開源的R模型。標記有自身特色,提供了過濾、鑽取等功能,多個標記同時還可以實現圖形化的集合運算。
優點:
- 交互界面形象易懂,即使是普通的業務人員也能輕而易舉地進行複雜的數據分析;
- 不一定要建數據倉庫,還可以直接從多個異構數據源提取數據進行分析;
- 支持SAAS,有許可權管理功能;
缺點:
- SAAS版只支持30M,由於是國外伺服器所以上傳很慢;
- 不適合中國式的固定報表;
- 進軍中國市場較晚,國內案例較少;
- 工具的適應性範圍廣,但是難易跨度大;
體驗網址:Data Visualization Analytics Software
6、神策分析神策分析的產品有完整的使用文檔,每個模塊都有詳細的使用說明以及示例,降低了用戶的學習成本。而且支持私有部署、任意維度的交叉分析,並幫助客戶搭建專屬的數據倉庫。目前提供事件分析、漏斗分析、留存分析、數據管理等功能,未來預計會增加用戶分群、用戶人群分析、推送和異常維度組合挖掘等,工具需要付費使用。
優點:
- 專註於用戶行為數據分析,不追求做大而追求做全;
- 有詳細的產品使用文檔以及案例;
- 提供SQL查詢;
缺點:
- 更多的是demo示例,不能開箱即用;
- 純dashboard展示,並不能對單獨一塊數據作自定義分析;
7、BDP:分成企業版和個人版
1)BDP企業版-新一代雲端數據分析平台
雲計算+大數據技術的BI軟體,可以對接各類業務系統(資料庫如MYSQL等、各種第三方API、本地數據等),這樣把企業所有數據全部整合到一起,不用懂代碼,拖拽點擊就可以做數據分析,非常的簡單方便,手機端也能隨時查看。各項關注的數據分析指標,都可以對接系統自動生成,不用每天花大量的時間去匯總統計數據做報表。雲端分析數據,也不用花大筆的錢去買伺服器,也不用花錢僱人專門維護,開個賬號就能用,能節省大量的硬體和運維成本。數據處理性能強大,10億行數據,簡單計算8秒就可以呈現,幾千人同時在線也沒問題,數據安全也有保障。
2)BDP個人版-零門檻可視化分析利器
BDP個人版使用免費,只需導入數據,設定分析維度,即可實時得到圖表分析結果。產品示例和視頻教學很細緻,交互頁面很友好。每次數據更新,對應的圖表也會自動更新,可以免去一些重複分析、製作圖表的數據工作。另外,分享環節也很貼心,數據儀錶盤可以一鍵導出,也可直接生成鏈接分享
給他人或分享到微信、微博等社交平台。
優點:
- 產品支持移動端,手機同步呈現最新數據;
- 用戶可以免費使用工具,還有免費公開的數據源;
- 操作體驗流暢,界面友好,功能全,總體來說是一款不錯的產品;
- 即便是個人免費版,體驗和功能仍然非常好;
- 數據可以同步更新,免去了重複勞動的工作;
- 做好的數據結果還可以在web分享給他人或分享到社交平台;
缺點:
- 官網的介紹比較簡單;
永洪BI是一款可在前端進行多維分析和報表展現的BI軟體。支持拖拽操作,數據源格式多樣,提供不同級別的查詢支持,支持跨庫跨源連接。另外永洪提供了一款數據存儲、數據處理的軟體——MPP數據集市,可與BI打通,使得數據查詢,鑽取和展示的速度大幅度提高。不過其產品用戶體驗一般,拖拽過於自由,導致儀錶盤布局不好控制;主題樣式雖多但是給人感覺樣式還是很傳統。
優點:
- 商業流程完善,給人專業的感覺;
- 產品定製化的版本效果不錯;
- 支持的數據接入較多;
缺點:
- SAAS版體驗很差,有一定的學習成本;
- UI的視覺效果一般,整體可視化效果不夠現代化;
體驗網址:北京永洪商智科技有限公司
9、數據觀數據觀的功能設計理念是極簡、無門檻,所以它最大的特點就是簡單。數據觀數據來自雲端,如:百度 網盤、微盤、salesforce等。數據上傳後,馬上有推薦圖表,引導明確。另外產品的使用沒有技術門檻,無需專業IT知識,同時適用於非專業分析師出身的業務人員,可以快速將數據轉化成直觀的圖表,適合一開始接觸數據分析工具的非專業數據從業人員。
優點:
- 註冊只需填寫郵箱,且支持明道賬號登陸;
- 使用引導明確,支持salesforce、百度雲數據導入;
- 分析結果支持鏈接分享,大大降低用戶的溝通成本;
缺點:
- 不支持超過20MB的數據上傳;
- 數據導入後,數據分析體驗方面存在bug;
- 產品的使用以點擊為主,不支持拖拽操作;
體驗網址:http://www.shujuguan.cn
10、FineBIFineBI分為數據處理、可視分析和分享公用三大功能模塊。支持多種數據源,圖表風格清爽美觀,可選擇任意維度分析。分析頁面由控制項和組件組成,控制項和組件的數量是可以添加至任意多個,但是布局的交互比較僵硬,且使用邏輯有點亂,引導不明確。需要安裝本地客戶端才能使用。
優點:
- 有較為詳細的行業案例與技術方案;
- 產品演示和資源中心也較為清晰
缺點:
- 需要使用客戶端,增加了使用的不便利性
- 只有儀錶盤展示,BI報表需要另一款產品;
- 無法處理大量的數據;
魔鏡支持自動拖拽建模,同時可視化效果庫十分酷炫。用戶可以邀請團隊成員到自己的項目,合作進行探索分析,並且按照需求有效控制訪問數據的成員許可權。產品模塊規劃完整,有基礎企業版到hadoop等5種選擇為,而且可以支持定製化服務。但是可能是雲平台版的緣故,使用過程中出現不少BUG,企業版的體驗可能會相對好一點。
優點:
- 產品模塊的規劃比較健全,其中包括數據源導入、數據分析、儀錶盤、數據挖掘和數據工廠;
- 官網的設計不錯,模板選擇性大,顏值控可能會喜歡;
- 工具使用指導清晰,使用篇和方法篇等比較詳細;
缺點:
- 產品存在較多的BUG,UI和功能相對其他產品來說較簡陋;
- 部分產品模塊並不能切實用於數據分析;
選擇一款適用的BI產品,能夠大大簡化數據分析的繁雜工作,提高分析效率與質量。當然,以上每個工具各有優點,工具地址都給大家了,接下來就是輪到你動手的時候了,找一個自己喜歡的工具,開始吧!
跟樓主分享下最近收集的東西吧,正打算跳槽做這行……除去大家提到的大企業華為、阿里、騰訊、百度,還有專很多專做數據分析的公司。九次方、永洪科技、集奧聚合、國雙科技、拓爾思、百分點、通聯數據、華勝天成、數聯銘品、映潮科技。其他的不了解,成都這邊的略知一二。九次方,目前從事的方向挺多的,政府+銀行+金融,雖然不是成都的,但是最近和貴陽大數據中心合作,大火了一把。他們有金融融資背景,知名度廣,所以有點一口氣吃個大蛋糕的意思,企業規劃遠,但是目前數據統計維度和分析指標都是常規思維吧。數聯銘品,做金融,主要亮點是周濤,電子科大出來的都知道吧,27歲的博導。他們有實實在在做金融分析的產品,目前有幾套分析方案。不過好多數據挖掘分析的人都是電子科大或者名校研究生,我覺得他們要做大數據分析還是需要更多金融背景的分析師吧。映潮科技,做政府+電商,好像和國家統計局有點關係,目前有產品映潮大數據平台、映潮指數和天璣,你可以去官網看看,有一些資料。我看了下他們官網,映潮指數里的綜合發展指數、熱點行業解析、未來走勢分析還蠻有用的,不過天璣沒有看到效果圖,好像是被封鎖消息了吧。總結,國內很重視大數據,目前和國外大數據還是有一些差異的,所以政府在加大發展力度。我目前就打算去一家網路公司做大數據分析,到時候可以和大家分享更多信息。最後最後,我剛開始玩知乎,求大家點贊O(∩_∩)O~~
我先來個自我介紹,我是某家銀行科技部的一位大數據項目經理。最近一年時間一直在負責大數據項目的上線工作。
項目背景:(痛點)
我行原來的是數據分析工具是SAS,存儲用的是主備的EMC高端存儲。數倉用的是Teradata。
痛點很多。
其一:太貴了,無論是EMC存儲,故障率基本是5年才壞一次,話說我們花了幾千萬的備用存儲設備5年可能才用一次,使用率太低。而且EMC的槽,我們已經插滿了,存儲空間一直是我們頭疼的大問題。可擴展性太差了。
其二:數倉,我們投入了上億來購買使用維護TD,說實話,TD還是蠻好用的。但是TD的投資回報率太低,每年的維護費就幾百萬,關鍵花了這些錢,一些問題沒有得到解決,這是我們領導不能接受的。前幾年還好,我們行的發卡數據增長不是太快,2010年以後,發卡量成指數上漲,TD上運行的應用積少成多,非常冗餘,而且還無法擴容,除非你再買一套,又是要幾千萬,還不保證問題解決。計算性能這一塊,是我們非常頭疼的問題。每天晚上跑批任務的時間過長,已經影響到我們白天系統的正常使用。
其三:數據分析,我們之前,用的是SAS,可現在流行R語言來訓練模型,作為數據分析工具,慢慢的,行里決定,今年已經沒有採購SAS了預算了,預算都給大數據平台產品了。
POC選型:
基於以上三大痛點:行里決定採購商業版大數據產品
我們是2015年初做的大數據產品選型,那會,成熟的商業版還不是很多。我們接觸了很多家。在這裡面小的就不提了。比較有代表性的公司是華為,星環科技。最後基於POC測試結果,我們決定採購了星環科技的產品Transwarp。
我行目前有超過100個大數據節點
基於我們使用的近兩年的使用心得。我說一下我的感受吧。
很多信息都是看星環的公眾號和實施的哥們交流所知。基於他們的產品的性能,實施人員的態度,解決問題的效率,我也要友情的給大家介紹一下星環科技這家公司。
國外態度:Gartner
近日,國際知名諮詢機構Gartner針對當前數據倉庫及數據管理解決方案市場,在其魔力象限1.中對全球21家廠商進行了對比分析,其中,Oracle、Teradata、Oracle和Microsoft三家公司包攬了前三甲,而全球最具發展前景的公司卻是來自中國的公司——星環科技(Transwarp),這也是該領域的魔力象限中第一次出現中國公司。
Ps:此處應該有掌聲,也證明我們的當初的選擇是明智的。
國內態度:工信部產品認證
在剛剛結束的2016大數據產品峰會上。星環科技是參與6家測試的性能排名第一。
數據中心聯盟擬開展2016年第二批大數據產品能力認證工作,包括基礎能力(功能、運維能力、多租戶、可用性、安全性、擴展性、兼容性等內容)和性能專項。認證的產品範圍:Hadoop/Spark軟體平台產品
參與測試的廠家分別是:
東方金信,明略數據,博易智軟,華三,星環,騰訊雲
星環產品介紹
這個是我手裡的產品架構圖。
這裡我主要分享一下inceptor這個組件,我們一般都是開玩笑的說是英賽普特。
我理解的:inceptor
1、底層是基於spark的,但這裡的spark不是我們開源的那個spark,只是借鑒了開源spark的5w行代碼。現在inceptor已經200w+以上的代碼量了,基本重構了。
2、支持sql on hadoop,支持sql2003標準語法。第三方的TPCDS已經支持100TB的測試數據。99個標準sql都能高效跑過
3、支持oracle,DB2,Teradata,的存儲過程。
4、支持ACID分散式事務處理。這點對我們銀行很多拉鏈表非常實用
5、支持高效內存、SSD計算,就是他們的holodesk產品,誰用誰知道,吊炸天,支持index,cube,非常適用銀行數據集市場景。
6、支持CBO優化器
7、支持可視化許可權管理,計算資源配置,用戶安全授權管理,行級安全控制
8、StarGate支持多種資料庫和hadoop數據源進行交叉查詢,聚合,以及關聯操作等能力
9、支持BI產品的對接,例如tableau,smartBI,finereport,cognos等
再給大家分享下我們用星環discover數據挖掘組件做的案例
持卡人用戶畫像
用戶流失預警
他們現在發展很快,成立2年多,已經完成A輪,A+輪,B輪的融資。高成長性
我理解的星環是做大數據基礎平台的,非常底層,門檻也比較高,不是一般創業公司能做的了的。還看到過他們列的一些客戶,沒想到裡面我們同業還蠻多的嘛
為什麼要這麼詳細的寫這些?
肯定星環科技就是肯定我跟我領導的眼光呀,哈哈哈。
不過說實話,大數據平台產品,星環是非常棒的,那些外包了下開源hadoop的公司,兩者完全沒有可比性。
星環的市場部是不是要給我發勞務費呀?
今天就寫到這吧,我要去開會了,待續,未完。。。
2016/5/29 3:11 失眠
無聊想到上次寫了待續兩個字,我就又來了。
這次給大家分享下流處理產品
實時大數據,需要時效性高,處理能力高等
流處理產品主要有storm和spark streaming,原來我們做流處理,需要我們寫Java或者scala
我們這家採購商主要是基於spark streming產品開發的,不過都已經重構過了,支持sql,我們只需要寫sql,就能定義處理時間窗口等。
下圖是TDH的Transwarp strem的架構圖
1、StreamSQL99%的ANSI SQL 2003的支持率
強大的優化器性能提升
支持按時間切分滑動窗口和滑動步長
2、多數據源支持
Socket
文件
Kafka
3、多種輸出方式支持
Hyperbase(實時NewSQL資料庫)
Holodesk(內存/SSD存儲)
HDFS(分散式文件系統)
題主提到的數據分析這一塊呢,大致可以分為幾個業務板塊,按照最終應用對象呢,主要有兩個方向
1、2C應用方向(行為分析,精準營銷,人物畫像)1 、2B應用方向(市場預測分析,戰略輔助,企業信息庫構建)數據分析,為什麼要做分析,一般總體的方向想必都是在預測參考輔助方面,就像IBM的雲數據服務超市,利用沃森的輔助分析,可以應用到很多行業。而數據可視化只是體現在表現層的邏輯,中間信息層處理好了,怎麼表現出來是最後一步,所以題主不怎麼關注數據可視化這一塊個人也有同感。這方面的產品呢,很多也很雜,出名的有大家知道的BAT實時分析處理平台,另外的有一些ICT環境下的一些老牌廠商經過業務和數據轉型的,也有一些初創的數據科學公司,具體有哪些想必可以從德勤報告和國內的ICT市場報告可以知道一些,所以花點時間都可以了解到。至於說數據分析的價值點呢,主要是因為如今的業務驅動向數據驅動轉型的時代,中小企業非常需要在戰略上和競爭對手方面需要有更精準的預測和輔助分析,而這一環節就需要一些數據分析產品來完成。
而國內的很多企業級產品由於企業的固有信息孤島的存在且會持續存在,所以數據源的獲取依然得不到很好的處理,繼而使後面的數據分析環節受到較大的影響。最後,建議題主如果想要關注數據分析產品的話,可以關注下國外的很多產品,因為較國內的來說,這方面國外處於領先地位,數據化程度也較高,可以適當參考哈佛商業評論上面的相關矽谷startups,應該會有所幫助。既然題主問的是大數據分析產品,那技術框架類的產品可能不是很切題,我從商業應用的角度,同時整理了國內與國外的公司供題主參考:
1、金融。
國外:目前最火的大數據公司肯定是Palantir,這家公司不完全屬於大數據金融,但是最大的亮點就是他們的金融反欺詐技術,幫助多家銀行追回了前納斯達克主席Bernie Madoff所隱藏起來的數十億美元巨款。
還有一家公司叫做ZestFinance,是一個利用機器學習加大數據分析為 payday loan 行業(發薪日貸款,類似高利貸的短期高利息借款)提供客戶品質分析的平台。今年六月份,京東也參與了投資,並且與之成立了名為JD-ZestFinanceGaia 的合資公司。
國內:現在幾大巨頭都在這一塊進行布局,騰訊徵信、阿里的芝麻信用、京東金融、小米金融,都處在發展的初期階段,鹿死誰手,尚未可知。
此外,比較有亮點的是成都一家公司——數聯銘品。團隊實力很強,電子科技大學的周濤教授、原德勤中國財務諮詢總監袁先智都在這家公司,主攻方向是大數據金融,主打產品叫做「浩格雲信」(HIGGS Credit),可以幫助銀行、券商、律所等挖掘和計算企業相關信息。
2、醫療;
國外:Clover Health,2014年 成立,近期也獲得了 1 億美元融資,他們從用戶過往的保險理賠數據入手,收集用戶的醫療病史,與模型匹配,找出高風險人群,並幫助他們改善健康狀況,變治療為預防,從而減少公司支付的醫療費用。
國內:悅糖,這家公司主要是先尋找致病的根本原因,再幫用戶進行精準有效的干預,平穩血糖,改善胰島素敏感性,從而構建糖前患者的健康生活生態圈。他們在基因檢測方面對接的機構是博奧頤和與國家人類基因組北方中心,產品形態包括 APP 和數據分析報告。
3、 交通;
國外Uber,國內滴滴快的,這個就不細說了;
4、招聘;
國外:LinkedIn收購的 Careerify。公司成立於 2009年,已有不少企業在使用 Careerify,其中包括 Deloitte, Groupon, Microsoft, SpaceX 和 Unilever。Careerify 是款招聘推薦軟體,可通過抓取員工的社交網路信息(像 LinkedIn、Twitter 和 Facebook),來發現他們的朋友適合公司的哪些工作職位。除此之外,Careerify 能及時通知本公司的員工,告訴他們公司有哪些新開放的職位,有助於將好的人才留住。
國內:尋英網,他們有兩千萬人的職業資料庫,通過分析,形成職位晉陞圖譜,如職位晉陞路徑、職位關聯關係等。而對企業,也形成企業成長畫像,如企業人才流動趨勢、招聘崗位變化趨勢。企業用戶在平台上發布一個招聘信息,尋英網會在 30 秒內推薦最合適的 20 個候選人,實現以自動的方式為企業提供獵頭服務。
5、農業;
國外:以「轉基因」為特色的跨國農業科技公司孟山都,現在也開始在探索利用大數據提升農業生產效率。在美國農民會和第三方公司合作以對土壤進行測量,並根據農田土壤具體數據,在孟山都服務的幫助下實現播種、施肥、灌溉、病蟲害防治的優化,使田地產量提升 3%-6%。孟山都表示,數據科學能夠在種子和化肥銷售這兩大核心業務以外,給公司帶來 200 億美元的創收機會。
國內:象輯科技,這家公司主要是利用天氣數據,依託雲計算、互聯網和數據挖掘技術提升企業生產效率,減少天氣、氣候影響造成的生產損失。是亞馬遜AWS在中國的合作夥伴。在中國這個農業大國,前景也很不錯。
當前國內大數據平台公司主要玩家是華為,星環和Cloudera,誠然,現在技術上貌似星環最牛,案例上華為最多,樓上GoldOrange也是在技術上點評的星環和華為,我不知道樓上是真的客戶還是他們的員工,看到都是星環好的一面,無所不能的一面,在這裡我要從其他方面說一下。看您說的是金融,從案例上來看,國有四大行兩家華為,星環是零;郵儲還沒選型。13家股份制,華為有交行、華夏、招行等,星環是恆豐和民生,但恆豐是民生過去的那個項目經理,他老婆在招標後就去了恆豐,當然會說好話,民生現在啥評價自己打聽打聽去。說星環的產品可以做數據倉庫,無非就是對SQL和存儲過程的支持,但可以問一下恆豐的數據倉庫遷移過程是不是像他們描述的一樣不需要改應用,說可以支持什麼實時,數據量載入到兩個T試試,測試嘛,一兩百個G玩玩還行。再說說合作夥伴,金融裡面還有幾個真的在和星環玩,和文思一直沒合作起來,宇信就一個,現在人家在杭州投的華為,信雅達他的股東也不投星環了吧,長亮說合作,限於廣東周邊之外,他就廣東客戶最多。呵呵,看一個公司不能只看技術,而且都是開源的,誰都不會比誰落後太多,測試場景不同而已,但是,公司的品牌、生態圈和老闆的品質及對客戶和合作夥伴的態度更重要,看看今年星環亂像吧,金融沒做幾個單子吧,都被他們自己搶來搶去玩丟了。如果一個公司堅持不了多久,再好的技術又有啥用,平台的後續維護能力更重要,否則用開源就得了,何必花錢買商業版本。
我們是針對互聯網公司的數據分析工具,主要解決的用戶行為分析問題,如事件多維分析,漏斗轉化,用戶留存等。有興趣可以到http://sensorsdata.cn申請體驗。
不認為國內游什麼真正的大數據產品,華為的fushioninsight我在用,但是它只是個加了層殼的hadoop與spark罷了,差不多就是原生的調用,再加上一些華為自己的miner什麼的,至於datacanvas這東西,剛去官網看了下:
加了個docker而已。我們公司用的是ibm的大數據平台,biginsights,倒是真做了不少自己的東西,像bigsql之類的。其實,做大數據,還是自己學hadoop,spark,storm去吧,別的差不多都是扯淡的,國產的就更不用說了。各種所謂的大數據平台也就是自己封裝一下,讓用戶使用起來更方便而已,但是這帶來的風險太大了,除非你使用的平台應用很廣泛,而且你將來的公司也在用,否則,你會用也是白會了,換個平台你就啥都不懂了。國產的各種所謂的大數據平台,完全沒有嘗試的必要。當然,如果你是阿里,百度等國內大型互聯網公司的員工,自然是要用他們自己的那一套啦,而且應該還是做的很好的。最後,想搞大數據,各種平台只是工具而已,知識才是王道啊,不然就算你精通了大數據工具,拿到數據還是乾瞪眼,無從下手。工具只是工具,腦子才是財富啊,唉,悔不當初#20170807編輯近兩年接觸到了一個國內的大數據公司「kylingence」,因為我們公司用了他們的產品。他們公司的核心產品是kylin,一個我們中國人開源的apache頂級項目,他們公司有核心研發團隊。唯一美中不足的是他們除了做開源的kylin之外還搞了一個不開源的企業版kylin大數據分析產品其實主要有面向互聯網,面向傳統企業的,服務對象不同特點不同。面向傳統企業,一般是考慮打通各個業務系統,然後部署式實施,面向互聯網方面則一般是SAAS方式提供服務。目前面向企業和面向互聯網的分析公司都不少,北京最多。
分別有(排名不分先後):諸葛IO、GrowingIO、秒針、藍色游標、百分點、時趣互動、品友互動、易傳媒、神策數據、talkingData等
面向企業的:星環(用過,感覺很一般,沒有宣傳的那麼誇張,不論從性能、擴展性等方面而言,感覺只能說實際效果比宣傳的差很多,就像銷售說什麼都能幹,結果能幹的其實不多那種感覺),華為等
數據分析,目前真正能做效果好的挖掘方面的,國內不多。國外,數據分析產品不見得比國內的強多少,至少在面向互聯網分析,比如用戶畫像、行為分析等方面的數據分析產品,國內做得是比國外好的
九年前的今天,劉翔世錦賽奪冠,三年前的今天,馬航MH370失聯,而在今天,能夠記憶和分析這些事件的「四海八荒最佳事件庫神器」——知微事見(http://ef.zhiweidata.com/)正式上線。基於海量數據,把握事件發展脈絡,洞察事件發展全貌,「知微事見」讓用戶足不出戶,眼觀天下。
這款神器有何功能?免費查看全網事件、還原事件傳播真相、提供原始數據下載~
「知微事見」事件分析頁面
1.免費公開的事件分析平台:
「知微事見」儲備了社交媒體海量數據,有著海量事件積累,網羅從2012年至今的各領域熱門事件。將海量事件分為財經、社會、政治、娛樂、體育、互聯網……等等十大分類。你關注的,你遺漏的,知微事見都為你記著。
僅僅是熱點還不夠,想要打造專屬你的個人事件庫?「知微事見」提供個性化事件分析,滿足各種定製需求!論文需要事件數據?營銷想要知道宣傳效果?謠言想弄明白怎麼傳播?通通都能在線自助全搞定!
習慣了用手機「刷刷刷」?「知微事見」PC、手機多終端同步呈現,立志成為用戶身邊最得力的熱點事件分析助手。今天有啥熱點事件?手機打開,隨時隨地跟蹤熱點事件走勢,一鍵縱覽網媒、微博、微信各大渠道數據,事件動向盡在掌握。
「知微事見」手機端界面演示
2.用數據還原熱門事件真相:
互聯網信息龐雜?消息來源不知真假?「知微事見」有專業的渠道梳理。針對互聯網不同平台渠道,根據平台屬性鎖定關鍵指標,建立渠道影響力評價體系。網媒?微信?微博?各大平台數據盡在掌握,分分鐘理清事件傳播脈絡!
還在擔心追了「假熱點」?「知微事見」擁有科學的影響力評價模型。知微與哈爾濱工業大學成立了社會網路與數據挖掘聯合實驗室,建立了科學的事件影響力評價體系。事件夠不夠熱門,有多熱門,在同類事件中影響力是高是低?知微事見都用數據給出答案!
「知微事見」中,事件會進行幾乎實時的數據更新,不用擔心錯過任何事件最新動向。幾乎實時的傳播趨勢圖與關鍵傳播信息更新,讓可能出現的新聞反轉、輿論變化、謠言闢謠……皆能第一時間知曉。
「知微事見」不但夠專業,而且夠酷炫!氣泡圖直觀呈現近30天熱點事件,雷達圖有效對比分平台事件影響力指數差異,傳播趨勢圖精準鎖定關鍵傳播源,時間軸動態呈現重要渠道參與過程……美觀+直觀,知微事見一步到位。
「知微事見」可視化界面
3.全量的事件數據下載:
僅僅是數據分析還意猶未盡?或者對數據分析躍躍欲試,想要自己上手好好研究一番,卻苦於沒有原始數據?為了方便更多人參與到事件傳播規律的研究中,「知微事見」對積累的海量事件數據開放下載!
首頁右上角設有數據共享下載入口,用戶可以根據自身需要,選擇即時下載或延時下載,知微事見還新增加了事件集下載功能,年度危機公關事件盤點、年度謠言事件盤點、每月月度熱門事件盤點等,對於這些定期更新的系列事件,都可以一次性下載所有相關事件數據。寫論文、做研究、挖傳播、尋KOL……數據在手,天下我有,用戶可以盡情自由挖掘數據的潛在價值!
「知微事見」數據下載頁面
知微事見,真知事件。知微致力於用數據揭示真相,為社會媒體推動變革、開啟民智的進程中貢獻綿薄之力。
「知微事見」:http://ef.zhiweidata.com/。
大數據分析產品有哪些?這個問題真的不好回答,太廣泛了~~~我就說一下黃賭毒裡面的賭吧,說是賭我覺得還太大了·~~~其實就是搞彩票,作為一個搞了彩票三年的人來說 ,我覺得現在有一家公司做數據分析還是不錯的,具體怎麼上圖呢。就像你說的,除了可視化,還有什麼其他的功能呢,他這款分析產品的區別點和價值在哪裡呢?我覺得和其他的分析預測類產品來說區別在於,這個數據就是全面數據化,有自己的核心演算法,~~~多了也不會說,我就是一個用戶,不是他們公司本身~~~具體上圖吧,就今天比賽的數據分析
利益相關,但我是使用者,不是提供商。
早前,我們公司做產品和市場分析的時候,大部分是用GA,基本上能滿足要求。後來,公司採購了一個第三方數據平台,這家算是國內比較早的大數據服務商了。
公司叫99click商助科技,2003年成立,從那個時候起,他們對布局了對大數據的營銷價值的挖局,說明老闆還是很厲害的。其實你現在去他們網站看,也可以看到網頁的風格什麼的很十幾年前,我很好奇他們的技術怎麼做到這樣的。
而且,市場上媒體曝光也不多,但是據我了解,他們的客戶還是蠻穩定的。其實10年以後吧,大數據行業的SAAS產品多了好多,數據的呈現五花八門,但是本質上是差不多的。
我覺得99click這家的客戶穩定,可能兩個原因:一是便宜,相對於其他的產品,這家價格我覺得很合適;
二是很實在,雖然網站外觀很樸素,但是產品功能很不錯,早前就對渠道上的廣告播放監測,跨屏數據收集,多維度分析,然後給出他們的分析報告。他們的數據做網站上用戶和產品,廣告監測,用戶的留存轉化率,很全面了,比GA省事兒。
以上,利益相關,還是可恥得匿吧。
除了BAT外,網易也推出了大數據的解決方案:網易大數據|專業的私有化大數據平台
有網易猛獁大數據平台與網易有數敏捷BI平台:
網易猛獁
一站式大數據應用開發與數據管理平台,覆蓋大規模數據存儲與計算、數據集成、應用開發及數據管理等企業大數據應用場景。
網易有數
企業級大數據可視化分析平台,具有全面的安全保障、強大的大數據計算性能、先進的智能分析、便捷的協作分享等特性。
國雙科技
華為fusion insight 大數據平台開發人員佔位。待補充。
大數據分析這個命題太大了,現在市面沒有真正意義上的大數據分析產品,要麼是原本做BI、小數據分析的廠商包裝下產品說是大數據產品,要麼就是做大數據平台的、做資料庫的附加些分析頁面說是大數據分析。大數據分析產品應該從大數據處理能力和數據分析能力兩個角度去考慮:1. 具備大數據預處理、存儲、計算等方面的能力,當然數據量要上升到一定量級,否則用hadoop處理不如用oracle處理;2. 具備分散式計算能力,所有的數據分析應該是分散式運行的,原本那些做BI所使用的單機演算法在分散式系統中根本無法使用;3. 數據分析是一個原始數據從大批量變為小批量、將無用數據篩出去的過程,最終能夠作為數據分析用的基礎數據只是很少的一部分樣本,因此具有這種自動篩選數據的能力也是必需的。綜上所述,國內大數據分析產品還有很長的路要走。
將攝像頭採集到的視頻數據加以分析,從中得到有用的商業信息,為經營決策提供可靠依據。
如果這算是大數據分析產品的話,那麼悠絡客智慧門店管理系統絕對就是了。
它所提供的智能巡店、大數據云報警、客流分析、脫崗巡查等增值功能,都是通過智能演算法實現的。我們做電信oss和bss,用過永紅的平台,說句實話出乎意料的好。客戶的一個分析系統,一天幾百億條數據,當時想法有點對付,要開發快的,因為用戶經常做些分析,過後寫個報告就忘了。沒想到現在跑了一年還非常穩定,前些日子客戶做安全檢查掃出個漏洞,我才知道居然還在用。一問售後,說現在客戶一天都離不開,數據積累多了價值漸漸就高了。
個人感覺,至少比東軟浪潮亞信這一大票廠家的大數據要好的多。華為的沒用過不知道。大數據這東西,你搞幾百台伺服器搭個hadoop,spark簡單的很。但是真正要穩定的跑上一年半載,還是很不容易的。大數據風險監測平台-大象金服大數據風險監測平台是一個功能與定位明確、邏輯有序、各部分之間緊密結合的系統。主要利用大數據自動採集系統廣泛收集交易對手散佈於新聞、論壇、博客、微博、政府公開信息等網路上的各類碎片化信息,通過大數據搜索與挖掘的技術手段,全面整合交易對手、實際控制人與關聯方、以及交易標的物各類信息,常規監測投融資動態、財務異動、以及標的物變更等重要情報,重點發現交易對手的涉訟涉刑事等負面信息,實現貸前的廣泛全面分析以及貸後的全方位監控預警,為金融機構提供全面、客觀、實時的大數據情報,提升金融機構貸前貸後的情報分析與決策能力。八大功能模塊(1)、審查項目動態功能模塊: 通過大數據搜索與挖掘的技術手段,全面整合項目的融資人、融資人股東情況、融資人高管情況、實際控制人、擔保情況、外部環境以及新增監測對象的各類信息,實現對項目的全面審查。(2)、監測項目動態功能模塊: 通過大數據搜索與挖掘的技術手段,實現風控部對項目相關的新聞,風險類型,與項目的詳細信息進行全面監測。以新聞標題、新聞來源、時間、正負面、風險類型,警示級別等方面來展示。(3)、資產處置動態功能模塊: 展示與項目相關的資產動向最新新聞信息,主要包括融資人及相關抵/質押物的動態新聞信息。(4)、公司動態功能模塊: 通過大數據搜索與挖掘的技術手段,全面整合項目的熱點、最新動態、子公司、負面預警、專題動態-競爭對手、專題動態-同行業以及自定義添加,常規監測投融資動態、財務異動、以及標的物變更等重要情報,方便選取製作公司動態報告。(5)、專題動態功能模塊: 將比較大的項目分專題展示,展示內容為與項目相關的最新消息,如:「一帶一路」、「房地產專題」、「PPP」。(6)、合規知識功能模塊: 整合了常用法律知識、擔保法規、最高院借貸及擔保司法解釋、凈資本管理法規、關聯交易管理法規、貸款監管法規、房地產業務監管法規、貸款監管法規、房地產業務監管法規、各類金融業務監管法規等一系列合規知識,為金融機構提供法律方面的政策採集提供技術支撐。(7)、信息搜索功能模塊: 根據用戶指定的搜索關鍵詞執行元搜索,搜索模式主要包括綜合搜索、內網搜索、徵信搜索、網路搜索。(8)、公司輿情功能模塊: 通過大數據搜索與挖掘的技術手段,全面整合項目的熱點、最新動態、子公司、負面預警、專題動態-競爭對手、專題動態-同行業以及自定義添加,常規監測投融資動態、財務異動、以及標的物變更等重要情報,方便選取製作公司輿情報告。
推薦閱讀:
※最近开始学习机器学习,不知道看哪本书比较好(PRML ESL or MLAPP)?
※如何評價Kaggle舉辦的Rental Listing Inquiries比賽?
※CMU HCI 具體學些什麼?
※信息檢索入門?
※Linear least squares, Lasso,ridge regression有何本質區別?