一般用哪些工具做大數據分析？

12-29

關於大數據分析的前端展示，使數據可視化，國內用的最多都是哪些技術？
D3.JS，chart.js適合做大數據分析嗎？

你說的主要還是大數據的可視化方面，那麼其實綜合來看，主要分為一些特殊的使用場景。對於可視化分析和大數據平台，自己做過一些關於這方面的產品調研和分析，固與各位分享下。

報表這一類的目前做得好的有ECharts和HighCharts兩個，效果做的都不錯。

1、日誌管理工具Splunk（http://www.splunk.com/）

面向使用的人群主要有：

Splunk的功能組件主要有Forwarder、Serch Head、Indexer三種，然後支持了查詢搜索、儀錶盤和報表（效果真不是吹的，很精緻呀），另外還支持SaaS服務模式。其中，Splunk支持的數據源也是多種類型的，基本上還是可以滿足客戶的需求。

目前支持Hadoop1.x(MRv1)、Hadoop2.x(MRv2)、Hadoop2.x(Yarn)三個版本的Hadoop集群的日誌數據源收集，在日誌管理運維方面還是處於一個國際領先的地位，目前國內有部分的數據驅動型公司也正在採用Splunk的日誌管理運維服務。

可視化部分效果也是很不錯的

2、EverString（Home - EverString）

everstring主要是通過大數據的預測分析建模為企業提供業務和客戶推薦的SaaS服務，獲取和積累了兩個數據信息資源庫，一個行業外部的資源庫（公有SaaS收費形式），一個行業自己內部的資源庫（私有），然後再通過機器學習和人工智慧的方法對數據進行相應行業或是領域的建模，最後得到一個比較不錯的結果，優化於人工可以得到的結果，而且Everstring也成為了初創大數據公司裡面估值很高的公司。

3、國外的Tableau（http://www.tableau.com/）

可視化界面還是做得不錯的

可是對於價格還是按需掏腰包吧。

4、國內的大數據魔鏡分析工具（魔鏡—行業領先的大數據可視化分析平台 6.0）

魔鏡的大數據平台主要提供的還是數據清洗和ETL、Hadoop數據倉庫以及一系列的數據分析服務，可提供的數據分析視圖工具類型豐富：

目前國外還時候有很多從事大數據業務的公司，像協助美國CIA找到本拉登的Panlatir，可以預測未來的Recorded Future和，6sence，ETL方向的Etleap，CRM系統方向的Salesforce等，如果說到可視化工具，它應該是大數據處理流程裡面的最後展現環節。

國內有個不錯的鏈接，實屬乾貨呀。

盤點：55個最實用大數據可視化分析工具（http://tech.it168.com/a2015/0318/1712/000001712286.shtml）

就寫到這裡吧，分析的不到位的地方，還請指出，謝謝。

補充

----------------------

剛有人問，哪些是目前國內可以用得到的一些數據科學家分析的工具，正好公司有同事是這方面的專家，請教了下，如下：

1、SPSS：主要用於數據建模工作，功能穩定且強大，能夠滿足中小企業在業務模型建立過程中的需求。

2、BitDeli

BitDeli是今年11月份在舊金山成立的一家初創公司。它能衡量出任何使用Python腳本的應用程序的指標，聯合創始人兼CEO Ville Tuulos告訴Derrick，腳本可以很簡單，也可以很複雜——甚至未來可以延伸到機器學習。不過和「重量級選手」Hadoop相比，BitDeli自認為是一個輕量級的Ruby。

3. Continuuity

Continuuity是前Yahoo首席雲架構師Todd Papaioannou和Facebook HBase的工程師Jonathan Gray的心血結晶，Continuuity想讓所有的公司都能像Yahoo、Facebook一樣運營。該團隊創建了一個大數據工具，它可以簡化Hadoop以及HBase集群的複雜性，而且包含一系列開發套件，旨在幫助程序員開發大數據應用，該平台採用Hadoop技術，允許開發者在防火牆內外對大數據應用軟體進行部署、擴展和管理。公司聯合創始人兼首席執行官Todd Papaioannou表示，作為一家初創企業，Continuuity正在試圖掀起下一波大數據應用軟體的浪潮，公司所提供的工具能夠大大提高處於開發狀態的軟體不同部分與階段的擴展性。

4. Flurry

Flurry是移動應用統計分析領域裡的標杆，正因為在行業內獨特的優勢，它每年的營收高達一億美元。Flurry擁有非常全面的功能，不僅僅只是幫助開發者構建移動應用，它還幫助開發者分析所有的數據，進而產生更大的效益。其實數據也支撐了該公司的廣告網路，他們通過數據分析可以幫助開發者推送準確的廣告到需要的用戶面前。不過單純從移動應用的數據統計功能來看，Flurry絕對是處於領先地位。其功能模塊設置合理，分析維度全面，分析流程也易於理解。

-------------------------------------------------也就了解到這麼多了。--------------------------------------------------

謝邀。

--------------------------------------------------謝邀，我又來了---------------------------------------------

在這裡，不得不多說Tableau，實屬大數據可視化分析魔力象限的領導者，廢話不多說，直接上一個自己前段時間在團隊內部做的分享：

還望大家多提提指導意見；

再次謝邀；

數據分析——數據可視化：

日常工作中，好多人都面對一堆數據，但卻不知道如何更直觀展示效果，或者不知道用什麼圖表展示更好！花了一些時間整理了工作中常用的數據圖表，希望對大家有用，不再是單純給領導、用戶展示乾癟的數據~

　　本文除了柱狀圖、條形圖、折線圖、餅圖等常用圖表之外，還有數據地圖、瀑布圖和散點圖，旭日圖，漏斗圖等等。一起了解下不同圖表的使用場景、優劣勢！

　　1.柱狀圖

　　適用場景：適用場合是二維數據集（每個數據點包括兩個值x和y），但只有一個維度需要比較，用於顯示一段時間內的數據變化或顯示各項之間的比較情況。適用於枚舉的數據，比如地域之間的關係，數據沒有必然的連續性。

　　優勢：柱狀圖利用柱子的高度，反映數據的差異，肉眼對高度差異很敏感。

　　劣勢：柱狀圖的局限在於只適用中小規模的數據集。

　　延伸圖表：堆積柱狀圖、百分比堆積柱狀圖

　　不僅可以直觀的看出每個系列的值，還能夠反映出系列的總和，尤其是當需要看某一單位的綜合以及各系列值的比重時，最適合。

　　（堆積柱狀圖）

　　（百分比堆積柱狀圖）

　　2.條形圖

　　適用場景：顯示各個項目之間的比較情況，和柱狀圖類似的作用。

　　優勢：每個條都清晰表示數據，直觀。

　　延伸圖表：堆積條形圖、百分比堆積條形圖

　　（堆積條形圖）

　　（百分比堆積條形圖）

　　3.折線圖

　　適用場景: 折線圖適合二維的大數據集，還適合多個二維數據集的比較。一般用來表示趨勢的變化，橫軸一般為日期欄位。

　　優勢：容易反應出數據變化的趨勢。

　　4.各種數據地圖（一共有6種類型）

　　適用場景：適用於有空間位置的數據集，一般分成行政地圖（氣泡圖、面積圖）和GIS地圖。行政地圖一般有省份、城市數據就夠了（比如福建-泉州）；而GIS地圖則需要經緯度數據，更細化到具體區域，只要有數據，可做區域、全國甚至全球的地圖。

　　優劣勢：特殊狀況下使用，涉及行政區域。

　　（1）行政地圖（面積圖）

　　（2）行政地圖（氣泡圖）

　　（3）GIS地圖：點狀圖

　　（4）GIS地圖：熱力圖（分別為北京區域和全國的熱力圖）

　　（5）GIS地圖：（北京某區域）散點圖

　　Ps：區域地圖，通過放大鏡可以放大或縮小區域哦~~

　　（6）GIS地圖：地圖+柱狀/餅圖/條形

　　5.餅圖（環圖）

　　適用場景：顯示各項的大小與各項總和的比例。適用簡單的佔比比例圖，在不要求數據精細的情況適用。

　　優勢：明確顯示數據的比例情況，尤其合適渠道來源等場景。

　　劣勢：不會具體的數值，只是整體的佔比情況。

　　餅圖、環圖你喜歡那個呢，可以直接設置~

　　6.雷達圖

　　適用場景：雷達圖適用於多維數據（四維以上），一般是用來表示某個數據欄位的綜合情況，數據點一般6個左右，太多的話辨別起來有困難。

　　優勢：主要用來了解公司各項數據指標的變動情形及其好壞趨向。

　　劣勢：理解成本較高。

　　7.漏斗圖

　　適用場景：漏斗圖適用於業務流程多的流程分析，顯示各流程的轉化率。

　　優勢:在網站分析中，通常用於轉化率比較，它不僅能展示用戶從進入網站到實現購買的最終轉化率，還可以展示每個步驟的轉化率，能夠直觀地發現和說明問題所在。

　　劣勢:單一漏斗圖無法評價網站某個關鍵流程中各步驟轉化率的好壞。

　　8.詞雲

　　適用場景：顯示詞頻，可以用來做一些用戶畫像、用戶標籤的工作。

　　優勢：很酷炫、很直觀的圖表。劣勢：使用場景單一，一般用來做詞頻。

　　9.散點圖

　　適用場景：顯示若干數據系列中各數值之間的關係，類似XY軸，判斷兩變數之間是否存在某種關聯。散點圖適用於三維數據集，但其中只有兩維數據是需要比較的。另外，散點圖還可以看出極值的分布情況。

　　優勢：對於處理值的分布和數據點的分簇區域（通過設置橫縱項的輔助線），散點圖都很理想。如果數據集中包含非常多的點，那麼散點圖便是最佳圖表類型。

　　劣勢：在點狀圖中顯示多個序列看上去非常混亂。

　　延伸圖表：氣泡圖（調整尺寸大小就成氣泡圖了）

　　10.面積圖

　　適用場景：強調數量隨時間而變化的程度，也可用於引起人們對總值趨勢的注意。

　　延伸圖表：堆積面積圖、百分比堆積面積圖還可以顯示部分與整體之間（或者幾個數據變數之間）的關係。

　　11.指標卡

　　適用場景：顯示某個數據結果同環比數據。

　　優勢：適用場景很多，很直觀告訴看圖者數據的最終結果，一般是昨天、上周等，還可以看不同時間維度的同環比情況。

　　劣勢：只是單一的數據展示，最多有同環比，但是不能對比其他數據。

　　12.計量圖

　　適用場景：一般用來顯示項目的完成進度。

　　優勢：很直觀展示項目的進度情況，類似於進度條。

　　劣勢：表達效果很明確，數據場景比較單一。

　　13.瀑布圖

　　適用場景：採用絕對值與相對值結合的方式，適用於表達數個特定數值之間的數量變化關係，最終展示一個累計值。

　　優勢：展示兩個數據點之間的演變過程，還可以展示數據是如何累計的。

　　14.桑基圖

　　適用場景：一種特定類型的流程圖，始末端的分支寬度總各相等，一個數據從始至終的流程很清晰，圖中延伸的分支的寬度對應數據流量的大小，流量隨著時間推移變化的情況，通常應用於能源、材料成分、金融等數據的可視化分析。

　　15.旭日圖

　　適用場景：旭日圖可以表達清晰的層級和歸屬關係，以父子層次結構來顯示數據構成情況，旭日圖能便於細分溯源分析數據，通過分層佔比情況真正了解數據的具體構成。

　　優勢：分層看數據很直觀，逐層下鑽看數據。

　　16.雙軸圖

　　適用場景：柱狀圖+折線圖的結合，適用情況很多，比如數量級相差很大的情況、數據同環比分析對比等情況都能適用。

　　優勢：特別通用，屬於不同圖表的組合使用，比如柱狀圖+折線圖的結合，圖表很直觀。

　　劣勢：這個好像沒什麼劣勢，個人感覺。

雖然看似就16種圖表，其實一共有31種圖表啦，可以認真數一數哈~

當然，當你分析數據的時候一定不會只用一種圖表，尤其是數據報告中，每次都會用到多個圖表，那各種圖表的結合效果圖也簡單展示一下：

　　（銷售業績分析）

　　（公司員工信息分析）

下面是深色背景（星空藍）下的圖表效果：

所有的數據圖表均來自有愛的BDP個人版哦，大家可以去試試~~~

大家都回答的是工具產品，似乎都沒有人講講R語言和Python，怒答。
-------------------------------------------多圖預警！
R-ggplot2

ggplot2是R語言最為強大的作圖軟體包，強於其自成一派的數據可視化理念。當熟悉了ggplot2的基本套路後，數據可視化工作將變得非常輕鬆而有條理。

技術相關

核心理念

1. 將數據，數據相關繪圖，數據無關繪圖分離

這點可以說是ggplot2最為吸引人的一點。眾所周知，數據可視化就是將我們從數據中探索的信息與圖形要素對應起來的過程。

ggplot2將數據，數據到圖形要素的映射，以及和數據無關的圖形要素繪製分離，有點類似java的MVC框架思想。這讓ggplot2的使用者能清楚分明的感受到一張數據分析圖真正的組成部分，有針對性的進行開發，調整。

2. 圖層式的開發邏輯

在ggplot2中，圖形的繪製是一個個圖層添加上去的。舉個例子來說，我們首先決定探索一下身高與體重之間的關係；然後畫了一個簡單的散點圖；然後決定最好區分性別，圖中點的色彩對應於不同的性別；然後決定最好區分地區，拆成東中西三幅小圖；最後決定加入回歸直線，直觀地看出趨勢。這是一個層層推進的結構過程，在每一個推進中，都有額外的信息被加入進來。在使用ggplot2的過程中，上述的每一步都是一個圖層，並能夠疊加到上一步並可視化展示出來。

3. 各種圖形要素的自由組合

由於ggplot2的圖層式開發邏輯，我們可以自由組合各種圖形要素，充分自由發揮想像力

基本開發步驟

1. 初始化 – ggplot()

這一步需要設定的是圖的x軸，y軸和」美學特徵」。基本形式如下：

p &<- ggplot(data = , aes(x = , y = ))

這一步里，設置x軸和設置y軸很好理解。那麼」美學特徵」又是什麼呢？

舉個例子來說，下面這張散點圖裡，x軸表示年齡，y軸表示身高，很好理解：

但這張圖除了展示年齡和身高的關係，還展示出每個樣本點的體重：顏色越深表示體重越大。因此體重信息和年齡身高一樣，也需要綁定到一個具體的列。這一列就是散點圖中的」美學特徵」。

來看看R語言繪製代碼：

ggplot(heightweight, aes(x=ageYear, y=heightIn, colour=weightLb))+geom_point()

其中的colour參數就是該圖的」美學特徵」。

再比如，下面這張柱狀圖中，x軸表示日期，y軸表示權重，很好理解：

但這張圖中每個日期對應了兩個不同的權重並採用兩個柱狀來對比，那麼這個劃分依據也是另一個「美學特徵」。

再看看繪製代碼：

ggplot(cabbage_exp, aes(x=Date, y=Weight, fill=Cultivar))+geom_bar(position="dodge", stat="identity")

其中的fill參數就是該圖的」美學特徵」。

綜上所述，圖中的每個樣本點除了通過它的坐標位置，還可以以其他形式展示信息，比如大小，色深，分組等。而這些新形式需要綁定的列，便叫做」美學特徵」。

「美學特徵」的形式和x，y軸一樣是以列的形式給出，且列中元素個數和x，y軸列必然相等。它的設置也和x，y軸一樣在ggplot()函數的aes參數括弧內進行。

2. 繪製圖層 – geom_bar()/geom_line()等等

上一步的主要工作是為數據可視化配置好了數據，接下來便可根據業務的需要來繪製不同的圖，如折線圖/柱狀圖/散點圖等等。具體的實現方法在後面的章節中會細緻講解，這裡重點提一下繪圖函數里的stat參數。這個參數是對衝突樣本點做統計，該參數默認為identity，表示保留樣本點原(y)值，還可以是sum，表示對出現在這點的(y)值進行求和等等。

3. 調整數據相關圖形元素 – scale系列函數、某些專有函數

在ggplot2中，scale標尺機制專門負責完成數據到圖像元素的映射。也許你會問，」美學特徵」不是已經定義好了這個映射嗎？然而事實是」美學特徵」只是選定了映射前的數據，並沒有說明具體映射到什麼圖形元素。

舉個例子，假如某張表記錄了不同種類水池的長，寬，深信息。現在需要繪製不同種類下水池長和寬關係的柱狀圖，那麼初始化完成的是這個映射：

而scale函數完成的是這個映射：

顯然a映射為了紅色，b映射為了藍色。

也許你還會問，我的代碼不用scale，那麼映射是如何完成的呢？答曰系統有默認映射的，就像繪圖函數都有默認參數stat=identity這樣。

4. 調整數據無關圖形元素 – theme()、某些專有函數

這部分包括設置圖片標題格式，文字字體這類和數據本身無關的圖像元素。只需調用theme()函數或者某些專有函數(如annovate函數可為圖片添加註釋)便可實現。

一個圖層繪製好後便可觀察調整，然後開始下一個圖層的製作，直到整幅圖繪製完畢。

R語言可視化成品圖

Python不是很在行，先放一放
------------------------------------------------------------------------------------------
補充：
說到工具，順帶提一下FineBI商業智能解決方案|BI工具
FineBI是為大數據量提供數據處理、ETL、Dashboard報表展示、動態分析、報表管理的可視化分析工具。
優勢是：

前端可視化

簡單操作（小試牛刀）：
1.新建分析
新建分析包括兩種類型的分析：普通即時分析和實時報表。
普通即時分析：是指普通的分析模板，從cube中獲取數據，進行數據分析；
實時報表：是指做出來的即時分析模板，可以對數據進行實時查看，保證數據的準確性

報表創建完成之後，頁面進入數據分析設計界面，選擇組件布局為自由布局，如下圖：

添加組件

製作匯總表

製作圖表

組件布局：自適應布局自由布局
自適應布局，自動調節布局

自由布局，自由選擇布局

此篇文章來用戶，講述了他使用BDP的過程和感受。感謝他傾情推薦，感謝他一直的支持，更感謝眾多用戶對BDP的支持和喜愛！以下是文章正文：

之前安利過不少數據可視化工具，像超級好用的Tableau，但是總有不願安裝軟體、或者覺得學習新軟體成本高的人存在，於是在這裡介紹一下BDP個人版，一個在線的數據分析工具，非常的簡單易用（就算你不會用Excel也沒什麼關係）。雖然文章看起來超像廣告，但這確實是我最真實的使用感受。

這裡我以對英國商科留學的雅思成績進行分析為例，展示一下BDP是如何進行快速分析的~ （Ps：數據僅做展示，所以請勿深究是否完全符合真實情況）

首先，準備好數據，一般將一份Excel表格其上傳，其實平台可以支持接入很多數據源，比如百度統計、CNZZ等，這對網站運營童鞋應該很有用處，只是目前我還是學生，所以還沒涉及後台資料庫、第三方API，用Excel數據足以！

（可支持接入多種數據源）

對了，針對不想上傳數據的懶人，BDP也貼心地提供了一些免費的公共數據，如天氣數據（有歷史、預測的天氣情況，感覺物流、生鮮的童鞋可以看看）、本地生活數據（有全國美食地域分布數據，吃貨們可以看看，通過分析找到自己想吃的菜，這也是一件很酷的事情）等。

（有天氣數據、本地生活數據等免費數據源）

其次，建立一個專屬的儀錶盤，比如我取名「雅思分析」，開始選擇添加圖表，一個儀錶盤中可以使用來源不同工作表/數據源的數據，也可以同時容納各種圖表：包括柱狀圖、雷達圖、餅圖等普通圖表，還有熱力、點狀、散點等地圖圖表，還可以插入文字呢（比如對圖表的解析文字）。，一個儀錶盤能包括不少信息呢，圖表+文字，做數據分析專題、數據彙報都是很不錯！

（專屬儀錶盤：雅思分析）

接著就可以開始「畫圖」啦，操作很簡單，不需要寫函數公式，直接把左邊的數據分別拖到維度和數值欄中，BDP就默認呈現適合的圖表了；

不想要默認的圖表怎麼辦？更簡單了，在頁面右邊選擇想要的圖表類型就好了，BDP立馬幫你切到你選的圖表，1秒就夠了，一眨眼圖表就換了！

咦，怎麼感覺自己做的圖表不夠好看呢？別急嘛，還可以對圖表做一些細節的「潤色」，比如給圖表加個輔助線可以更好理解；可以在篩選器過濾一部分的數據；也可以把數據欄位拖到顏色欄，用顏色深淺來表現數據，比如下圖！這些都是比較常見的「潤色」方式了，製作圖表中都很常見！最後，這樣一張美觀的圖表就「畫」好了~

按好以上的步驟做好一張張圖表，這些圖表都是統一在儀錶盤顯示，圖表大小可以在儀錶盤中拉動調整，這樣一份完整的展示報告就完成了！

好看、酷炫的展示效果不想跟他人分享一下嘛？反正我分享給同學了，這個數據對他也有一定的幫助，也想讓他誇誇我嘛，這感覺多好啊，嘻嘻！

對了，要是你不想寄已做一個數據報告，不會做也好，不想做也好，這個問題也能解決，繼續往下看咯~

BDP有個模板中心，裡面有不少預設的面對各種崗位的分析模板，拿來用也好，拿來練手也好都是非常方便的，可以直接把數據替換成你自己的數據，然後預設的模板效果也隨之更新了，這樣你稍微調整下效果，這個數據報告就是你寄已的啦！不過這個數據中心是針對運營、銷售等崗位的，所以數據也更偏向他們，不過你完全可以學習分析思路嘛，這個都是通用噠！

BDP還有一個錦上添花的功能：製作數據地圖，這是我最稀飯的功能了，沒有之一。它還能並且支持坐標糾偏，也算一個輔助功能。比如心血來潮，想了解下我們班的小夥伴都來自哪些地方呢，地圖很直觀地告訴我：北京、上海的童鞋最多啦，而且我們同學遍布全國啊，以後可以逛遍全國啊！

雖說是安利產品，但人無完人嘛，更何況是人製作出來的產品呢，感覺BDP有一丟丟小缺陷，提點小意見：希望BDP能繼續改進一下移動端的體驗，增加一下圖表適配屏幕的能力，要是能實現那就更加完美啦！總之，BDP還是不錯的，很適合數據小白，也很適合運營、銷售等童鞋！

以下摘自網路：

一、Excel

Excel作為一個入門級工具，是快速分析數據的理想工具，也能創建供內部使用的數據圖，但是Excel在顏色、線條和樣式上課選擇的範圍有限，這也意味著用Excel很難製作出能符合專業出版物和網站需要的數據圖。

二、Google Chart API

Google Chart提供了一種非常完美的方式來可視化數據，提供了大量現成的圖標類型，從簡單的線圖表到複雜的分層樹地圖等。它還內置了動畫和用戶交互控制。

三、D3

D3（Data Driven Documents）是支持SVG渲染的另一種JavaScript庫。但是D3能夠提供大量線性圖和條形圖之外的複雜圖表樣式，例如Voronoi圖、樹形圖、圓形集群和單詞雲等。

四、R

R語言是主要用於統計分析、繪圖的語言和操作環境。雖然R主要用於統計分析或者開發統計相關的軟體，但也有用作矩陣計算。其分析速度可比美GNUOctave甚至商業軟體MATLAB。

五、http://Visual.ly

如果你需要製作信息圖而不僅僅是數據可視化，http://Visual.ly是最流行的一個選擇。

六、Processing

Processing是數據可視化的招牌工具。你只需要編寫一些簡單的代碼，然後編譯成Java。Processing可以在幾乎所有平台上運行。

七、Leaflet

Leaflet是一個開源的JavaScript庫，用來開發移動友好地交互地圖。

八、Openlayers

Openlayers可能是所有地圖庫中可靠性最高的一個。雖然文檔注釋並不完善。且學習曲線非常陡峭，但是對於特定的任務來說，Openlayers能夠提供一些其他地圖庫都沒有的特殊工具。

九、PolyMaps

PolyMaps是一個地圖庫，主要面向數據可視化用戶。PolyMaps在地圖風格化方面有獨到之處，類似CSS樣式表的選擇器。

十、Charting Fonts

Charting Fonts是將符號字體與字體整合（把符號變成字體），創建出漂亮的矢量化圖標。

十一、Gephi

Gephi是進行社會圖譜數據可視化分析的工具，不但能處理大規模數據集並且Gephi是一個可視化的網路探索平台，用於構建動態的、分層的數據圖表。

十二、CartoDB

CartoDB是一個不可錯過的網站，你可以用CartoDB很輕易就把表格數據和地圖關聯起來，這方面CartoDB是最優秀的選擇。

十三、Weka

Weka是一個能根據屬性分類和集群大量數據的優秀工具，Weka不但是數據分析的強大工具，還能生成一些簡單的圖表。

十四、NodeBox

NodeBox是OS X上創建二維圖形和可視化的應用程序，你需要了解Python程序，NodeBox與Processing類似，但沒有Processing的互動功能。https://www.nodebox.net/code/index.php/Home

十五、Kartograph

Kartograph不需要任何地圖提供者像Google Maps，用來建立互動式地圖，由兩個libraries組成，從空間數據開放格式，利用向量投影的Python library以及post GIS，並將兩者結合到SVG和JavaScript library，並把這些SVG資料轉變成互動性地圖。

十六、Modest Maps

Modest Maps是一個很小的地圖庫，在一些擴展庫的配合下，例如Wax、Modest Maps立刻會變成一個強大的地圖工具。

十七、Tangle

Tangle是一個用來探索，Play和可以立即查看文檔更新的交互工具。

十八、Crossfilter

Crossfilter既是圖表，又是互動圖形用戶界面的小程序，當你調整一個圖表中的輸入範圍時，其他關聯圖表的數據也會隨之改變

十九、Raphael

Raphael是創建圖表和圖形的JavaScript庫，與其他庫最大的不同是輸出格式僅限SVG和VML.http://raphaeljs.com/

二十、jsDraw2DX

jsDraw2DX是一個標準的JavaScript庫，用來創建任意類型的SVG互動式圖形，可生成包括線、矩形、多邊形、橢圓、弧線等圖形。http://jsdraw2dx.jsfiction.com/

二十一、Pizza Pie Charts

Pizza Pie Charts是個響應式餅圖圖表，基於Adobe Snap SVG框架，通過HTML標記和CSS來替代JavaScript對象，更容易集成各種先進的技術。

二十二、Fusion Charts Suit XT

Fusion Charts Suit XT是一款跨平台、跨瀏覽器的JavaScript圖表組件，為你提供令人愉悅的JavaScript圖表體驗。它是最全面的圖表解決方案，包含90+圖表類型和眾多交互功能，包括3D、各種儀錶、工具提示、向下鑽取、縮放和滾動等。它擁有完整的文檔以及現成的演示，可以幫助你快速創建圖表。

二十三、iCharts

iCharts提供可一個用於創建並呈現引人注目圖表的託管解決方案。有許多不同種類的圖表可供選擇，每種類型都完全可定製，以適合網站的主題。iCharts有交互元素，可以從Google Doc、Excel表單和其他來源中獲取數據。

二十四、Modest Maps

Modest Maps是一個輕量級、可擴展的、可定製的和免費的地圖顯示類庫，這個類庫能幫助開發人員在他們自己的項目里能夠與地圖進行交互。

二十五、Raw

Raw局域非常流行的D3.js庫開發，支持很多圖表類型，例如泡泡圖、映射圖、環圖等。它可以使數據集在途、複製、粘貼、拖曳、刪除於一體，並且允許我們定製化試圖和層次。

二十六、Springy

Springy設計清涼並且簡答。它提供了一個抽象的圖形處理和計算的布局，支持Canvas、SVG、WebGL、HTML元素。

二十七、Bonsai

Bonsai使用SVG作為輸出方式來生成圖形和動畫效果，擁有非常完整的圖形處理API，可以使得你更加方便的處理圖形效果。它還支持漸變和過濾器（灰度、模糊、不透明度）等效果。

二十八、Cube

Cube是一個開源的系統，用來可視化時間系列數據。它是基於MongoDB、NodeJS和D3.js開發。用戶可以使用它為內部儀錶板構建實時可視化的儀錶板指標。

二十九、Gantti

Gantti是一個開源的PHP類，幫助用戶即時生成Gantti圖表。使用Gantti創建圖表無需使用JavaScript，純HTML-CSS3實現。圖表默認輸出非常漂亮，但用戶可以自定義樣式進行輸出（SASS樣式表）。

三十、Smoothie Charts

Smoothie Charts是一個十分小的動態流數據圖表路。通過推送一個webSocket來顯示實時數據流。Smoothie Charts只支持Chorme和Safari瀏覽器，並且不支持刻印文字或餅圖，它很擅長顯示流媒體數據。

三十一、Flot

Flot是一個優秀的線框圖表庫，支持所有支持canvas的瀏覽器（目前主流的瀏覽器如火狐、IE、Chrome等都支持）。

三十二、Tableau Public

Tableau Public是一款桌面可視化工具，用戶可以創建自己的數據可視化，並將交互性數據可視化發布到網頁上。

三十三、Many Eyes

Many Eyes是一個Web應用程序，用來創建、分享和討論用戶上傳圖形數據。

三十四、Anychart

Anychart是一個靈活的基於Flash/JavaScript(HTML5)的圖表解決方案、跨瀏覽器、跨平台。除了圖表功能外，它還有一款收費的互動式圖表和儀錶。

三十五、Dundas Chart

Dundas Chart處於行業領先地位的NET圖表處理控制項，於2009年被微軟收購，並將圖表產品的一部分功能集成到Visual Studio中。

三十六、TimeFlow

TimeFlow Analytical Timeline是為了暫時性資料的視覺化工具，現在有alpha版本因此有機會可以發現差錯，提供以下不同的呈現方式：時間軸、日曆、柱狀圖、表格等。

三十七、Protovis

Protovis是一個可視化JavaScript圖表生成工具。

三十八、Choosel

Choosel是可擴展的模塊化Google網路工具框架，可用來創建基於網路的整合了數據工作台和信息圖表的可視化平台。

三十九、Zoho Reports

Zoho Reports支持豐富的功能幫助不同的用戶解決各種個性化需求，支持SQL查詢、類四暗自表格界面等。

四十、Quantum GIS(QDIS)

Quantum GIS(QDIS)是一個用戶界面友好、開源代碼的GIS客戶端程序，支持數據的可視化、管理、編輯與分析和印刷地圖的製作。

四十一、NodeXL

NodeXLDE主要功能是社交網路可視化。

四十二、OpenStreetMap

OpenStreetMap是一個世界地圖，由像您一樣的人們所構築，可依據開放協議自由使用。

四十三、OpenHeatMap

OpenHeatMap簡單易用，用戶可以用它上傳數據、創建地圖、交流信息。它可以把數據（如Google Spreadsheet的表單）轉化為互動式的地圖應用，並在網上分享。

四十四、Circos

Circos最初主要用於基因組序列相關數據的可視化，目前已應用於多個領域，例如：影視作品中的人物關係分析，物流公司的訂單來源和流向分析等，大多數關係型數據都可以嘗試用Circos來可視化。

四十五、Impure

Impure是一個可視化編程語言，旨在收集、處理可視化信息。

四十六、Polymaps

Polymaps是一個基於矢量和tile創建動態、互動式的動態地圖。

四十七、Rickshaw

Rickshaw是一個基於D3.JS來創建序互動式的時間序列圖表庫。

四十八、Sigma.js

Sigma.js是一個開源的輕量級庫，用來顯示互動式的靜態和動態圖表。

四十九、Timeline

Timeline即時間軸，用戶通過這個工具可以一目了然的知道自己在何時做了什麼。

五十、BirdEye

BirdEye是Decearative Visual Analytics，它屬於一個群體專案，為了要提升設計和廣泛的開源資料視覺化發展，並且為了Adobe Flex建視覺分析圖庫，這個動作以敘述性的資料庫為主，讓使用者能夠建立多元資料視覺化界面來分析以及呈現資訊。

五十一、Arbor.Js

Arbor.Js提供有效率、以力導向的版面配置演演算法，抽象畫圖表組織以及篩選更新的處理。

五十二、Highchart.js

Highchart.js是單純由JavaScript所寫的圖表資料庫，提供簡單的方法來增加互動性圖表來表達你的網站或網站應用程式。目前它能支援線圖、樣條函數圖。

五十三、Paper.js

Paper.js是一個開源向量圖表敘述架構，能夠在HTML5 Canvas 運作，對於初學者來說它是很容易學習的，其中也有很多專業面向可以提供中階及高階使用者。

五十四、Visualize Free

Visualize Free是一個建立在高階商業後台集游InetScoft開發的視覺化軟體免費的視覺分析工具，可從多元變數資料篩選並看其趨勢，或是利用簡單地點及方法來切割資料或是小範圍的資料。

五十五、GeoCommons

GeoCommons可以使用戶構建富交互可視化應用來解決問題，即使他們沒有任何傳統地圖使用經驗。你可以將實社會化數據或者GeoCommons保存的超5萬份開源數據在地圖上可視化，創造帶交互的可視化分析作品，並將作品嵌入網站、博客或分享到社交網路上。

傳統的數據可視化工具僅僅將數據加以組合，通過不同的展現方式提供給用戶，用於發現數據之間的關聯信息。近年來，隨著雲和大數據時代的來臨，數據可視化產品已經不再滿足於使用傳統的數據可視化工具來對數據倉庫中的數據抽取、歸納並簡單的展現。新型的數據可視化產品必須滿足互聯網爆發的大數據需求，必須快速的收集、篩選、分析、歸納、展現決策者所需要的信息，並根據新增的數據進行實時更新。

首先Hadoop，沒錯就是這隻小象。
Hadoop 是一個能夠對大量數據進行分散式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。（版權不歸我，免費交流學習之用，加我微信回復hadoop即可）

其次，HPCC
HPCC，High Performance Computing and Communications(高性能計算與通信)的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了「重大挑戰項目：高性能計算與通信」的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆比特網路技術，擴展研究和教育機構及網路連接能力。

再次，Storm
Storm是自由的開源軟體，一個分散式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。Storm由Twitter開源而來，其它知名的應用企業包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、 Admaster等等。

具體可以參考：六大工具幫你做好大數據分析

此外，也可以看看這篇文章：大數據分析到底需要多少種工具

關注大數據，歡迎加我微信：idacker 各種資源、資訊、行業動態應有盡有。

大數據分析涉及方方面面，可以說工具分類起來既有抓取類的，也有分析支持類的。有平台型的大傢伙還有小而美的雲端工具。
一般來說，談工具還是從需求展開，談案例說工具鏈比較合適。

這篇文章寫的過程中，看了大量知乎中的大數據相關的文章，感覺知乎在這個版塊下，還是稍有欠缺，缺乏整理歸納。希望這篇能給大家一些幫助。
（長文不斷更新中）

1，wolframalpha：Computational Knowledge Engine
絕對是神器，上得了怪圖賣萌，下得了強大的數學分析。簡單的方程可以給你出軌跡圖，導數圖，還可以給你搞因式分解。基本堪稱數學搜索引擎的google。商業分析上，各種價格還有強大的分析和展現，方便實時分析
Wolfram Alpha 是用哪些編程語言開發實現的？參見 @黃瑋聖的答案。
Wolfram|Alpha 有哪些有趣的用途？這個問題下 @brettlv 的回答非常好。
貼一個用WA看金價的圖：

最後用 Wolfram Language 對於一個普通程序員有什麼意義？， @Belleve 的吐槽，哈哈。
————————————————————————————————————————

2，tableau Tableau Software
離線的數據處理軟體，內置大量案例和圖表。圖片呈現的方式非常直觀，也非常容易讓人看到簡單的數字堆砌看不到的神奇關聯，·做案例分析能得到非常多非常棒的啟發。
比如下面這張，密集恐懼症警報：

非常有趣有沒有！

除了需要下載，tableau的使用體驗非常的好。

同類工具推薦在這裡：如何將枯燥的大數據呈現為可視化的圖和動畫？ - 信息技術（IT） - 知乎這裡 @東湖大數據總結的很清楚。

因為知乎上tableau 板塊下太雜亂，並不容易找到太多專業信息，我這裡推薦這篇：國內外與信息可視化相關的專業博客、論壇、社區有哪些？ - 互聯網社區 - 知乎到相關論壇上，跟著 @胡洋的推薦去論壇里研究。

再推薦一篇 @梁勇的：Tableau和QlikView的優點、缺點、區別？ - 用戶體驗設計 - 知乎

方便對比認識一下吧。

——————————————————————————————————————————

3，Hadoop Welcome to Apache? Hadoop?!

認準這隻大象！

不過，hadoop已經是生態圈級的應用了，其強大自不用說，除了主頁上的ui該被吐槽一下（嘿哈）。

hadoop方面，知乎上還是有不少好文章的：

與 Hadoop 對比，如何看待 Spark 技術？這個問題下 @用心閣， @董飛， @劉亞瓊的回答都超級有價值，值得收藏。

為什麼在中國搞不出 Spark 和 Hadoop 這種東西？這個問題雖然過時，不過 @熊辰炎的回答特別好。

用機器學習的方法來處理大數據，是直接學 Spark，還是重點學習 Hadoop，了解 Spark？

嗯，還是關於spark和hadoop，仍然推薦 @董飛的回答。

總之hadoop是生態圈級的產品，嗯，用這個來收尾：Hadoop 就業前景如何？ - 互聯網 - 知乎

3.5 Hpcc HPCC Systems

為什麼是3.5，因為感覺是跟著hadoop來寫一下的。

高性能集群計算(HPCC)能取代Hadoop嗎？-CSDN.NET 這個問題之後有一些有趣的討論。不掛一下不合適。

我得意見是，hpcc的主頁比較好看。

——————————————————————————————————————————

估計上面的內容還需要更新，目前知乎上的文章看得還不夠多，估計之後還會再更新一些，加一些工具加一些工具文章鏈接。

大工具好多，喘口氣。

說個小而美的工具

4，造數造數 - 最好用的雲爬蟲工具

造數源自我們今年年中的想法：如果用戶只要爬取網頁數據，那麼能不能完全脫離代碼基礎來實現基本要求，個性化問題交給我們的團隊來提供api等等的解決方案衍生而來。

讓用戶點一個想要的，其他的我們來幫助自動識別。多省事簡單！

是否有智能爬蟲，即不需要會寫代碼，只要定義後就可以開始爬蟲了？ - 造小數的回答 - 知乎

有免費的網路爬蟲軟體使用嗎？ - 造小數的回答 - 知乎

別的不多說，反正我們的首頁好看就是了。

講真，新網站既然掛出來，還是想讓大家提意見提需求為主，歡迎隨時私信我。

——————————————————————————————————————————

貼上我們的競品：

5，Data Science Platform | RapidMiner rapid miner

在下對rapidminer 評價非常高，基本上目前是仰望的對象。功能強，首頁也蠻好看的。我們可能易用性強一些，嗯。

rapidminer做數據挖掘和其他工具比起來怎麼樣? - Rapidminer - 知乎這個問題下 @張逸倫說得我還是部分同意的。

至於學它有用沒有，可以看這裡：

RapidMiner在數據挖掘界是怎樣一種存在？？？現在還值不值得去學它？ - 機器學習 - 知乎

贊同 @肖凱的說法，絕對值得一試，專業性直觀性都非常不錯。可以比肩spss。

————————————————————————————————————————

以後會持續更新，期待大家的意見。

強烈推薦spark，和其他回答不同，姐會用自己的項目解釋spark的強大

點私信找我要福利照片吧，營銷或spark書單也有哦

和其他回答BB一通不一樣，我下面會用spark演示一下大數據預測股票的過程，並討論其合理性

知道為什麼這幾年社會對大數據的討論越來越冷，甚至不少人將其視為偽科學嗎？

就是因為像姐這樣學了沒多久就敢來知乎高談闊論的人太多了。。。

作為一個技術營銷高管，這兩年自學了spark，前不久在之前的回答中提到我實現了一個股票分析系統，希望知乎大神給給意見，有意學spark可以私信我。（之前spark學得還比較快，最下面推薦一個書單給大家，都是很薄的書，想要更全的學習書單歡迎私信）

大數據可以在一定概率下對事件進行預測，那很多人就會想它能不能幫助我們預測股票走勢以直接牟利呢？其實早在2013年，四位斯坦福大學的統計學專家學者在他們的著作中就曾做過相關研究，他們藉助R的力量，使用邏輯斯諦回歸等幾個機器學習演算法對2001年初到2005年末里1250個股票數據進行分析。當年這部著作對我幼小內心的震撼，就好比看到四個LOL王者祭出最強裝備，窮盡各種辦法合力研究怎麼賺錢，今天在下就以吾青銅（初學者）之身，借幾年前爆出的神裝——spark之力，實現一個股票走勢預測模型，致敬列位王者。

任務分析：

問題一：其實很多人會問，股票這種東西怎麼預測出來呢，就算能預測，那如何知道預測的準確率如何呢？

股票當然不可能百分之一百准，不然你以為你還能在知乎看到我嗎？

但它至少可以提高預測的準確率。在前文提及的當世統計學四大高手的著作中，準確率最高的是他們使用二次判別分析（QDA）得出的模型，準確率為59.9%，這個準確率對於我們吃瓜群眾似乎顯得有點雞肋，畢竟股票要麼升，要麼降，順便猜都有50%了吧，但對於四位專家而言卻是值得打一桌麻將慶祝一下的，從當時的文字中都可以讀出他們的雀躍之情，來看一下：

在幾乎60%的時間裡QDA預測也都是準確的，這個準確性水平對難以準確建模的股票市場數據而言令人興奮不已

（我說專家，就因為賺錢的概率高了一成，你們就不淡定了，也太不矜持了，斯坦福研究經費沒給夠？）

問題二：那怎麼證明這個準確率本身是準確的呢，會不會這個模型預測過去已有的數據倒挺準的，預測未知數據就廢了呢？

這種情況被稱為過擬合，為了防止這一問題出現，我們在這裡使用交叉驗證法，所謂交叉驗證法，就是將已有數據集隨機分成兩部分，一部分用以訓練得出數學模型，另一部分作為測試數據，測試模型的準確率，這樣就不擔心了

任務指標：

AUC（Area Under Curve）：可以把它看作模型的準確率，想知道具體含義的出門右拐百度一下

數據：既然提到百度了，就以百度2012年到2017年3月的股票數據為例吧

（那誰，百度記得把軟廣費結一下）

最終模型描述：要預測某日股票的漲跌，則輸入之前30天的漲幅和成交量，輸出該日股票是漲（0）還是跌（1）

這次沒有使用集群的力量，而是直接在自己電腦上跑數據，是因為：

我想秀一下新電腦

操作開始：

（為了照顧到大部分讀者朋友的可讀性以及受限於知乎的展示空間，我盡量把過程說得簡單一點）

啟動spark：

載入數據

將數據處理成標準格式

由於數據不滿足標準高斯分布，我們將它進行標準化處理(過程有點複雜，跳過)，然後準備完成交叉互換

415是隨便輸入的數字，沒有什麼特殊意義

正式開始建模，我們使用四種機器學習演算法

邏輯斯諦回歸

支持向量機

決策樹

樸素貝葉斯

其實做數據挖掘最難的，就是做模型參數調優，當我做完這一步我才發現數據挖掘為什麼叫數據挖掘，因為你需要從海量不同模型不同參數中選出最優模型出來，按下運行，數據一個個跑出來，從幾千個數據中分析結果，還是需要技巧的

以邏輯斯諦回歸為例

分別對迭代，步長，正則化三個參數進行調優，為求嚴謹，需要把每個參數所有可能值都試一遍，所以會產生滿屏數據結果，感受一下：

如上圖以每秒10行左右的速度生成新數據，這個過程一般短則十多秒，長則以小時為單位，結果如下：

如圖，當迭代為13時，準確率最高，所以選擇迭代為13

同理對其他兩個參數進行調試，可得結果：

步長：4.2

正則化：0.0

當迭代為13，步長為4.2，正則化為0.0時，AUC：59.65%

接近6成準確率，與四位前輩得出的結果相似，當然數據集不同，沒有什麼可比性

其他三種演算法的模型建立過程與上述類似，不作贅述

用大數據做股票分析並不可能做到百分百的準確，這點從斯坦福的描述可以得到佐證，我們做出的這個模型，也僅僅只是通過分析這支股票過去30天的數據來判斷其走勢罷了，可以輔助股民分析。但這個模型的威力其實不僅限於6成的準確率，更大的意義在於，它完全可以根據不同類型股民的需求進行調整。這裡需要解釋一下，我們這裡做分類（漲or跌）的原理是這樣的：

系統計算出股票上漲的概率，如果這個概率大於50%，則判斷該股票漲；如果小於50%，則判斷跌。這裡的50%就是這個模型的閾值。

如果是「守財奴」葛朗台買股票的時候，他寧可不賺錢也不願意虧錢，那麼他會把閾值調到99.9%，他心說「只有當上漲概率超過99.9%，下跌概率小於0.1%，再來通知我吧，否則我才不會把我一枚零幣投進這伸手不見五指的泥澤呢！」

如果是思聰買股票，他可能又會把閾值調低一些，他說了，我買股票不在乎賠多少錢，反正比不上我的零花錢

不過我還是覺得不要過度依賴技術的力量，行業資訊分析和炒股經驗可能是機器永遠無法取代的，有這麼一個故事：

有一個炒股非常厲害的股民，沒有什麼學歷背景，也沒見他關注什麼財經節目。他炒股的思路很簡單，找了10個水平一般的股民（其實代表了大部分股民），經常與之交流，如果10個人中有7個人進入股市，他立刻撤離；如果7個以上清倉，他立刻準備抄底。

其實說白了就是所謂的逆勢操作，但也告訴我們分析股民心理比分析股票本身要重要得多，也許我們可以換個思路，運用spark streaming的力量，實時獲取論壇貼吧股民的語義信息，分析大部分股民的普遍心態，從而預測股票走勢，輔助股票決策。

很多人在問spark的事，姐從書單中挑幾本推薦給大家吧

spark書單推薦：

spark基本功：

spark快速大數據分析

200頁左右，很適合初學者

Scala入門：

Scala編程思想

也很薄，這本書看懂一些語法即可，不需要把Scala學透，不懂查書查文檔就夠了

spark高級數據分析：

還是很薄，開始實戰了

大數據只是一個新的概念，各個學科早就存在。我是運籌專業的，所以重點說運籌和優化。大數據的本質，就是一大堆數據，你無法直接用，因為數據量太大，所以你要從中抓取出你想要的數據。比如，放在高速路上的攝像頭，拍超速的，一張照片，有用的信息只是一個牌照，所以你要把牌照這小塊圖片分割出來。然後就是數學建模，圖像分割有很多種模型，比較經典的是統計的一些模型，我也建過混合整數規劃（MIP）的優化模型，說到底統計裡面也是優化問題。Anyway，建完模型之後就是coding，然後計算了。MIP或者LP，我用Cplex這個商業優化軟體。然後一張大的圖片，我可以給你分割出一塊牌照，是你想要的，數據量大大減少。你也可以把它叫做人工智慧，因為它「智能」地把你想要的東西從一個大的東西裡面分割出來交給你了。。所以，大數據，人工智慧，神經網路，深度學習，只是最近比較火的噱頭而已，用的都是優化，統計，等等的模型，然後設計演算法，然後計算。

更為具體的回答參見：

想學數據分析（人工智慧）需要學哪些課程？ - 知乎

5月17更新
大數據魔鏡免費雲分析平台全新上線。歡迎大家登陸體驗魔鏡—行業領先的大數據可視化分析平台 6.0

多圖文預警！！！！！！！！！

下面主要介紹一下數據分析部分

1. 數據區
1.1 維度

魔鏡將包含定性、分類信息的任何欄位都視為維度。例如，包括任何含有文本或日期值的欄位。不過在複雜數據關係中，維度的實際定義稍微複雜一些。一個維度就是一個可以視為獨立變數的欄位。

舉例來說，可以針對該維度的每個值來聚合一個度量。例如，您可能要計算每個「省份」的銷售總額。在這種情況下，「省份」欄位用作維度，因為您要聚合每個省份的銷售額。「銷售額」的值取決於「國家」，因此，「國家」是獨立欄位，而「銷售額」是依賴欄位。同樣也可以對視為維度的數字欄位計算這種聚合。例如，您可能需要計算向客戶提供的每個「利潤率」的銷售總額。在這種情況下，「利潤率」欄位用作獨立欄位，而「銷售額」欄位是依賴欄位，即使這兩個欄位都是數字欄位也是如此。您可通過先將「利潤率」度量轉換為維度將數字欄位用作獨立欄位。

1.2度量

魔鏡將包含數字、定量信息的任何欄位視為度量。不過，在關係數據源中，度量的實際定義稍微複雜一些。一個度量就是一個依賴變數形式的欄位；也就是說，它的值是一個或多個維度的函數。

這意味著度量是工作表中其他維度的函數。例如，您可能要計算每個「省份」的銷售總

額。在這種情況下，「銷售額」欄位用作度量，因為您要聚合各省份的欄位。

1.3度量轉換為維度

默認情況下，魔鏡將包含數字的所有關係欄位視為度量。不過，您可能會決定將其中某些欄位作為維度。例如，在魔鏡中，默認情況下可能會將包含年齡的欄位分類為度量，因為它包含數字數據。不過，如果您要查看每個年齡的人數分布，就可以將「年齡」欄位轉換為維度。

單擊該欄位並將其從數據區的度量區域拖放到維度區域中。

1.4 維度轉換為度量

在魔鏡中將定性的、分類信息視為維度，如將維度轉換為度量，會將離散的維度信息進行計數，可自定義選擇計數與計數（不同）。

2. 數據分析
2.1 快速進入分析台
點擊導航——數據分析，進入數據可視化分析台；

點擊儀錶盤——新建圖表，亦可進入數據可視化分析台；

2.2上卷下鑽

上卷和下鑽是導航分層結構的最有用方法之一。例如，如果您在檢查各省的銷售總額，則可下鑽查看某省下各個城市的銷售額情況。

在大數據魔鏡中有兩種方式可以進行創建分層結構。

將一個維度拖入另一個維度上，將自動創建分層結構，彈窗編輯分層結構名稱。如圖所示，將「省級」拖入「市級」，自動跳出彈窗編輯分層結構名稱，點擊確認。

1）通過單擊分析台上的維度，右拉創建分層結構，彈窗編輯分層結構，將相關維度拖入相關分層結構中。

將「市級」拖入分層結構中，如圖：

舉例來說，將「省級」拖入列，將「銷售價格」拖入行，選擇「餅圖」，如圖：

生成了各省銷售價格的餅圖，右擊某個省，選擇「下鑽」，可以查看江蘇省個城市的銷售價格。

反之，將「市級」拖入列，將銷售價格拖入行，生成餅圖，右擊某個城市選擇「上卷」

就可以查看各省的銷售價格，如下圖，也可以再次右擊選擇「下鑽」

2.3 探索功能

在大數據時代，混亂的、無結構的、多媒體的海量數據，數據分析的探索功能可以成為一個有效的工具。數據分析的探索功能可以發現變數之間的相關性以及引導出新的假設，發現數據潛在的價值。

例如，我們分析某個區域的房產銷售價格，同時可以探索其他新的欄位，探索數據更深層次的價值。在大數據魔鏡數據分析台中，將「省級」拖入列，將「銷售價格」拖入「列」，可以看到各省的銷售價格對比圖

此時，我們可以探索一下其他新的內容，選擇江蘇省，右擊選擇「探索」，可以看到彈出了新的相關欄位。

我們可以選擇點擊「市級」，探索一下江蘇省各市的銷售價格。

還可以繼續探索南京每個時期的銷售價格，從而作出有利於市場的決策。

2.4 參考線

運用參考線是為了讓圖表更加清晰易讀，形成對比。

大數據魔鏡的參考線設置包括添加參考線、編輯參考線和移除參考線

1）添加參考線

將「省級」拖入列，將「銷售價格」拖入行，生成線圖，可以設置一條參考線，可以更清晰的看見各省之間銷售價格的差距，點擊「銷售價格」右拉的「分析」，選擇「參考線」

2）編輯參考線，點擊確定生成參考線

3）範圍設置

範圍設置包含「整個表」「每組」「每單元格」

作用於「整個表」

4）線設置

5）移除參考線

右擊參考線，出現右擊菜單，點擊「移除」，則將參考線移除

2.5 趨勢線

趨勢線是用於預測數據趨勢的計算線。

大數據魔鏡中的趨勢線包含顯示趨勢線、編輯趨勢線、移除趨勢線。

2.5.1
添加趨勢線

將「銷售日期」拖入列，將「銷售價格」拖入行，生成線圖，可以設置一條趨勢線，可以更清晰的看見銷售價格的走勢圖，點擊「銷售價格」右拉的「分析」，選擇「趨勢線」

2.1 趨勢線

趨勢線是用於預測數據趨勢的計算線。

大數據魔鏡中的趨勢線包含顯示趨勢線、編輯趨勢線、移除趨勢線。

2.5.2 添加趨勢線

2.5.3 移除趨勢線

右擊趨勢線，出現右擊菜單，點擊「移除」，則將趨勢線移除

2.6 計算欄位

創建計算欄位即通過自定義計算形成新的欄位，形成的新的欄位在維度、度量列表呈現，新的計算欄位可進行刪除和編輯操作。

在維度或者度量右拉菜單中選擇「創建計算欄位」

編輯「計算欄位」界面

在彈出窗口輸入新欄位名稱，並輸入公式表達式及新欄位名稱，比如「平均銷售價格」，輸入公式表達式，在函數列雙擊選擇想要的函數，比如「AVG」,再雙擊欄位名列任一欄位，比如「銷售價格」。

點擊確認，保存完成後，在欄位列表中會顯示出新增的欄位。

計算欄位公式說明如下。

數字公式

字元串公式

日期公式

聚合公式

2.7參數欄位

參數類似於維度集，可以切換不同的維度，通過創建參數欄位，當在「行、列、標記、篩選器」中時，可以快速切換當前參數中維度賦值。

點擊維度中右拉菜單，選擇點擊「創建參數欄位」。

彈出【編輯參數】框如圖：

將當前展開的業務分組內的維度拖入「編輯參數」框內，框內欄位可以進行自由排序。除了分層結構名不能拖入，其他維度都可以。

確認保存後，生成新的參數欄位「參數1」。

將參數1拖入「行、列、標記或者篩選器」時，視圖區會自動出現欄位選擇單值下拉列表。參數欄位默認選中的維度為排序第一的維度，如下圖，就可以隨意切換查看各區域、各省和各市的銷售價格。

2.8數據聯想

對某一欄位進行數據聯想，在數據區創建個新的聯想欄位，參與繪圖。

將滑鼠移至「數據聯想」產生聯想的臨時對象。

聯想的欄位可添加至左側列表，可參與繪圖。

2.9聚合/取消聚合聚合度量

雖然魔鏡對於每個度量默認是匯總聚合，但對於每個置於功能區的度量，可分配一個不同的聚合。例如，可對「銷售額」進行匯總聚合，對「利潤」進行最大值聚合，對「折扣」進行平均值聚合。

通過選擇「度量」菜單項，可以更改工作表中所有度量的聚合狀態。

聚合維度

魔鏡可使用「計數」或「計數(不同)」將維度聚合為度量。當聚合維度時，將創建一個新的臨時度量列，使維度看起來是一個度量。

註：MicrosoftAccess、MicrosoftExcel和文本文件數據源不支持「計數(不同)」。如果您連接到這些數據源類型的其中一種，「計數(不同)」聚合將不可用。）

取消聚合

當所有度量取消聚合後，視圖中每一行都會出現一個標記。所有度量取消聚合後，無法在視圖區操作「只保留」、「排除」數據。

1.
示例——銷售分析散點圖與取消/聚合

現有超市銷售數據一份，先將一個度量放置在「行」功能區上，將另一個度量放置在「列」功能區上，則表示想要比較兩個數值。通常在這種情況下，魔鏡會選擇散點圖作為推薦可視化形式。初始視圖可能讓人失望 — 只有一個標記，顯示兩個度量的所有值的匯總。

有多種方式可生成這樣一個散點圖：您可以使用維度添加【描述】；可以向「行」和「列」功能區添加額外的度量或維度，以便在視圖中創建多個單標記散點圖。當然您也可以取消聚合，在視圖中標記每一行數據。

將「銷售額」度量放在「列」功能區上。

將「利潤」度量放在「行」功能區上。

2.
度量自動聚合為匯總，銷售額(匯總)在欄位名稱中顯示。描述信息中顯示的值是數據源中每個行的銷售額和利潤總和。

維度添加到【描述】，操作如下：

將「類別」維度拖到「標記」區的【顏色】上。

這會將數據分隔成三種標記—每個維度成員一個標記—然後使用顏色對標記進行區別標記。

將「省份」維度拖到「標記」區的【描述】上。

現在視圖中的標記數量等於數據源中不同的省份數乘以類別數。

儘管顯示更多標記，度量仍然是聚合的。因此，無論數據源中是只存在一個「省份為江蘇、類別為辦公用品「的行還是 100個這樣的行，結果始終都是一個標記。

此過程可能會按您認為有用的方向形成視圖，或者您可能更願意轉向不同的方向，例如，通過向視圖中添加維度，或者通過引入趨勢線或預測。

3.
向「行」和「列」功能區添加更多欄位

將「省份」維度拖到「列」功能區。

將「細分」維度拖到「行」功能區。

現在，您有了一個可提供省份和客戶細分市場的銷售額與利潤概況的視圖。將游標懸停於視圖中的標記上以查看各個細分市場的工具提示數據。

4.
取消聚合

另一種修改您原來的單標記散點圖以顯示更多標記的方法是取消聚合。

選擇「取消聚合」。

現在您看到許多標記 -- 原始數據源中的每一行分別有一個標記。

當您取消聚合時，查看的將不再是數據源中各行值的平均值或總和。相反，視圖會為

數據源中的每一行顯示一個標記。取消聚合數據是查看數據的整個表面區域的一種方法。

這是了解數據形狀和識別離群點的快捷方式。這種情況下，取消聚合將顯示，對於數據中的許多行，銷售收入和利潤之間存在一致的關係。

2.10 日期維度的連續與離散
日期類型維度除有離散屬性外，還具有連續屬性。在可視化展示方面很呈現不同的結果。如果，3日的數據是缺失的，在日期維度連續的狀態下，3日是存在於軸上的，但在離散的狀態下，3日標題是不存在於軸上的。

連續如下：

2.11 快速表計算

魔鏡新版本快速表計算目前包括同比、環比。同比、環比的度量計算是相對日期維度而存在的。

同比一般情況下是今年第n月與去年第n月比。使用同比主要是為了消除季節變動的影響，用以說明本統計周期數據與去年同期數據相比的變化量。例如：本期2月比去年2月，本期6月比去年6月等。

環比一般情況下是今年第n月與今年第n-1月比。環比是本期統計數據與上期統計數據比較，用以說明本統計周期數據與前一統計周期數據相比的變化量。例如，本期2月比今年1月，本期6月比今年5月等。

同比/環比計算方法：

同比=（本統計周期數據 - 去年同期數據）/去年同期數據 ×
100%。

環比=（本統計周期數據-上統計周期數據）/上統計周期數據 ×
100%。

同比/環比使用方法：

當維度欄中放置了日期欄位時，系統會默認提供可選的同比/環比類型。當維度欄中沒有放置日期欄位時，同比/環比會置灰。

2.12 數據類型

數據源中的所有欄位都具有一種數據類型。數據類型反映了該欄位中存儲的信息的種

類，例如整數 (150)、日期 (2015/321) 和字元串「Sophilin」。欄位的數據類型在「數據」窗格中由以下所示圖標之一來標識。

3. 圖表組件
3.1
視圖的組件

不管哪類可視化圖形都是行和列的集合，由以下組件組成：軸、區、單元格和欄位標籤和圖例。

圖例

3.2 標記

標記區分為顏色、大小、標籤、描述，通過對標記區的設置在圖形中顯示更多的信息。

顏色：

顏色標記不同的值，不同的顏色標記不同的維度值，顏色的深淺標識度量的大小，顏色標記除放射樹狀圖外其他圖形只能拖入1個維度，再拖入顏色，替換之前的欄位

將維度拖入顏色，對顏色進行編輯，默認20個顏色循環使用，可進行自定義切換色方案

將維度「區域」拖入「顏色」，可以看到不同的顏色標記不同的區域

將度量「卧室數量」拖入「顏色」，可以看到顏色的深淺標記數量的大小；

大小：

調整整體的大小，自動適配美觀顯示。線圖，調整線條的粗細，柱圖，調整柱形的大小，形狀，調整形狀的大小，維度，按相關維度進行聚合，並且大小標識不同的維度值，度量，按相關度量進行聚合，並且按此度量進行大小標識柱圖。

將度量「卧室數量」拖入「大小」，不同粗細的柱形標識不同的度量值

標籤：

將維度拖入「標籤」顯示維度值，將度量拖入「標籤」顯示度量值，「標籤」內只能顯示一個欄位，度量或維度，顯示度量值或維度值，根據圖形的不同選擇性顯示相關度量的度量名。在柱形圖中，標籤顯示在柱形中

描述：

即詳細信息，滑鼠懸停時顯示的詳細信息，將「省級」拖入「描述」，可以看到各區域各省更詳細的信息。

3.3
篩選器

通過設置篩選器用來縮小顯示在視圖中的數據範圍。通過選擇特定維度成員或特定度量值範圍，可以定義篩選器。將需要篩選的欄位以拖動的方式，從左側邊欄的欄位列表拖動到頁面中間的篩選器中，點擊右拉菜單，就可以進行篩選了。

勾選「東北」「中南」「華東」

生成篩選後的圖表

將日期欄位拖入「篩選器」，有「日期範圍」「開始日期」「結束日期」可以設定。

維度篩選器

值選擇器

值選擇器—可使用「值」下拉列表來選擇值的選擇方法。

1) 從列表中選擇—從值的列表中進行選擇需要使用資料庫查詢來獲取值。

2) 自定義值列表—在文本框中鍵入明確的維度成員名稱以定義篩選器，而無需查詢資料庫。當您要使用大型數據源並且查詢速度較慢時，請使用此選項。如果您知道相關的維度成員，則可以在文本框中鍵入這些成員，或者從其他應用程序複製並粘貼這些成員。請確保每個成員在文本框中各佔一行。

3) 使用全部—選擇數據源中的所有成員。有時，您需要定義基於所有數據的條件或限制篩選器，即使數據隨時間發生變化也是如此。「使用全部」選項始終會包含資料庫中的每個成員以作為條件或限制的輸入，而不是從篩選器中選擇要包含或排除的特定成員。

4) 排除模式—默認情況下，將包含定義篩選器時已選擇的成員，並排除已取消選擇的成員。但有時，定義不需要的值比定義需要顯示的所有值更加容易。擇對話框右上角的「排除」選項可從篩選器中排除而不是包含所做的選擇。

5) 包含—返回在字元串中的任何位置包含該匹配值的所有成員。

6) 開頭為—返回在字元串開頭具有匹配值的成員。

7) 結尾—返回在字元串結尾具有該匹配值的成員。

8) 精確匹配—返回僅包含匹配值且沒有任何其他內容的成員。

度量篩選器

1) 值範圍—指定要包含在視圖中的範圍的最小值和最大值。所指定的值將

2) 包含在該範圍中。

3) 至少—包含大於等於指定最小值的所有值。在因數據經常改變而無法指

4) 定上限時，這種篩選器十分有用。

5) 至多—包含小於等於指定最大值的所有值。在因數據經常變化而無法指

6) 定下限時，這種篩選器十分有用。

7) 特殊—這種特殊篩選器可幫助您對
Null值進行篩選。僅包含「Null值」、

8) 「非 Null值」或「所有值」。

3.4
行列轉置

行列轉置，點擊轉置按鈕，交換「行」和「列」上的欄位

點擊轉置按鈕後

「行」與「列」上的欄位已經交換。

3.5 放大鏡

點擊「放大鏡」圖標，即可將當前可視化圖最大化顯示。

3.6
設置數值格式

l 設置數值格式是設置度量在可視化圖形效果的顯示樣式。

l
默認：默認狀態顯示千字元，保留3位小數；

l
數字（標準）：顯示千字元，顯示2位小數，負值顯示：-1234；

l
數字（自定義）：①小數位數，默認2位；②負值顯示，默認狀態-1234；③單位：K、M、B；默認無單位；④前綴/後綴，默認無前後綴；⑤千字元，默認勾選千字元；

l
貨幣（標準）：默認貨幣符號人民幣，顯示人民幣單位；

l
貨幣（自定義）：①小數位數；默認2位；②負值顯示，默認狀態-1234；③單位：K、M、B，默認無單位；④前綴/後綴，默認前綴為￥，無後綴；⑤千字元，默認勾選千字元

l
百分比：小數位數
，默認保留2位小數；

l
設置數值格式是設置度量在可視化圖形效果的顯示樣式。

l 默認：默認狀態顯示千字元，保留3位小數；

數字（標準）：顯示千字元，顯示2位小數，負值顯示：-1234；

貨幣（標準）：默認貨幣符號人民幣，顯示人民幣單位；

l
百分比：小數位數，默認保留2位小數

以上6種狀態不衝突，都是獨立的，選擇其中一種覆蓋另一種。

4. 可視化圖表組件4.1. 列表

列表是以表格的形式展示數據的載體。大數據魔鏡列表分為列表、突出顯示錶、壓力表。突出顯示錶與壓力表可根據業務需要，增加自定義設置，使得信息更加詳細、明顯。通過突出顯示錶，不僅可以迅速發現多組數據在某個維度上的關鍵點，而且可以立即知道該關鍵點的值。

列表的三種圖形效果見圖。

1)
列表

列表包含行表頭和列表頭，是通用的數據分析圖表。通常通過在「行」功能區上放置一個維度並在「列」功能區上放置另一個維度來創建列表，又稱交叉表或數據透視表
。然後您通過將一個或多個度量拖到標記區的【顏色】、【大小】、【標籤】、【描述】來完成視圖。

拖入「區域」到行功能區；

拖入「類別」到列功能區；

拖入度量「銷售額」、「利潤」到標記區，；

切換列表圖；

2)
突出顯示錶

突出顯示錶中，顏色的深淺標識度量的大小。

拖入「區域」到行功能區；

拖入「類別」到列功能區；

拖入度量「銷售額」、「利潤」到標記區，；

切換突出顯示錶；

如上圖，顏色深淺標識的是銷售額的度量值，標籤顯示的是折扣值的多少。

3)
壓力表

壓力表，通過圖形的大小標識度量的大小。

4.2. 線圖

線圖是最常用的統計圖表之一。線性圖可以將獨立的數據點連接起來，通過線形圖，人們可以在大量連續的點中發現數據變化的趨勢，線圖常用來展示數據隨時間的變化趨勢。

大數據魔鏡線圖類型最多支持1個維度1個度量。

連接到數據源「示例-超市.xls」後，進入可視化數據分析台。

1）拖拽如「訂單日期」到列，「銷售額」到行；

2）選擇可視化圖形效果—線圖，即可形成線形趨勢圖；

不同月份銷售額趨勢如圖

查看不同地區各時間段銷售額趨勢情況，將地區拖拽至【顏色】，形成下圖。

4.3. 面積圖

面積圖又稱區域圖，強調數據隨著維度而變化的程度，也可用於引起人們對總值趨勢的注意。導入數據源，拖拽相關維度，點擊右側的可視化圖庫—面積圖，形成面積圖。

4.4. 柱狀圖、條形圖

柱狀圖與條形圖是常用圖表之一。柱狀圖可以表現數據的對比情況，展現整體趨勢。條形圖可以快速地對比各信息值的高低，尤其是當數據分為幾個類別時，使用條形圖會有效，很容易發現各項目數據間的比較情況。魔鏡柱狀圖分為標準柱形圖、分組柱狀圖、堆棧柱狀圖。

柱狀圖可通過點擊

進行轉置，轉置為水平，即轉換為條形圖；分組柱狀圖、堆棧柱形圖可通過點擊

、

兩個圖標進行切換；

標準柱形圖，支持多維度多度量。多維度情況自動維度分組，多度量分區顯示。多用於展示多維度多度量關係情況。

將「細分「、「類別」兩個維度均拖入列，

將「銷售額」、「利潤」兩個度量均拖入到行，形成如下圖標準柱形圖。

堆積柱狀圖顯示單個項目與總體的關係，並跨類別比較每個值佔總體的百分比。堆積柱狀圖使用二維垂直堆積矩形顯示值。當有多個數據系列並且希望強調總數值時，可以使用堆積柱狀圖。

l 將「地區」維度拖入至標記區【顏色】，形成如下圖標準柱形圖。

大數據魔鏡分組柱形圖有兩種形態，維度分組柱形圖與度量分組柱形圖。

維度分組柱形圖切換規則是至少滿足2個維度1個度量，具體操作如：

l 拖入「類別」、「細分」兩個維度到列，「銷售額」度量到行；

l 點擊右側圖庫—分組柱形圖進行切換；生成如圖維度分組柱形圖；

建模區，「細分」「類別」維度在列，「類別」維度在【顏色】，不同顏色標識了不同類別。

l 在此圖形基礎上，拖入「數量「度量到行，再次點擊圖庫—分組柱形圖。

建模區標記區生成」度量值「，所有相關度量默認用顏色標識，這就能看出不同細分下不同類別銷售額與利潤的趨勢對比。

4.5. 散點圖

散點圖通常是用在需要分析不同欄位間是否存在某種關係的時候，例如，分析各類產品的銷售額和利潤情況。通過散點圖，可以有效地發現數據的某個趨勢、集中度及其中的異常值，根據這些發現，可以幫助我們確定下一步應重點分析哪方面的數據及情況。

如圖來分析各地區銷售額、利潤及折扣情況，可看出異常值和整體的趨勢銷售額、折扣分別為X、Y軸定位，可根據業務需求，用標記大小標識折扣值。

此圖中，不同子類別用不同的顏色標識，不同的折扣情況圓圈的大小標識。從圖中可以看出子類別—椅子的折扣較大。

4.6. 樹狀圖

樹狀圖是數據樹的圖形表示形式，表現維度層級關係。

魔鏡現有樹狀圖樣式：

4.7.地圖

日常分析中，地圖是經常要用到的圖形效果。特別是表現各地域分布情況，地圖的展現效果要比其他的圖形效果形象、直觀。

地圖自定義選項有填充顏色、標記類型、標記顏色、顯示標籤、描述信息五種：

l 當度量選擇了「填充顏色」，填充顏色的深淺表示度量值的大小；

l 當度量選擇了「標記類型」默認標記的大小識別度量值的大小，可自定義標記的顏色和整體大小；

l 當地圖中有度量選擇了標記大小識別，其他的度量可選擇「標記顏色」，標記顏色的深淺表示度量值的大小；

l 選擇了「顯示標籤」地圖中會顯示相應度量值；

l 「描述信息「所有度量信息默認描述信息顯示，滑鼠移過顯示度量值；

l 目前的標記類型：圓形、方形、菱形、三角形、條形；

支持省、市下鑽，點中某省，顯示此省明細區劃數據情況，可回退；

4.8.雲標籤

暫時就這麼多了

下面是原文
----------------------------------------------分割線---------------------------------------------------------------
國內的推薦大數據魔鏡www.moojnn.com，免費使用，有雲版和下載版。大數據魔鏡整合了市面上的可視化效果，更有上卷下鑽，數據預測，聚類分析，相關性分析，圖表聯動，數據聯想，地圖，組合圖等很多功能。
一、支持多種數據源

二、操作簡單，拖拽式探索分析

二、最大可視化效果庫
有超過500 多種可視化效果，豐富的組件庫中包括示意圖、篩選器、地圖和標籤雲圖等，從而使用戶能夠創建簡單的儀錶板或者絢麗的商業信息圖表和可視化效果。

三、四屏合一
擁有國內領先的大屏幕可視化解決方案，完美兼容LCD 屏、液晶屏、PAD 屏、智能手機屏幕四屏支持。

四、數據許可權
支持企業/團隊間的數據分析協作，並針對數據加設許可權，數據分析項目的所有者可以對團隊成員進行管理員、編輯者、觀察者的許可權設置，同時分配數據資源的調配許可權，給團隊提供更私密協作的空間和管理運作方式。

五、自動建模和分析挖掘
大數據魔鏡率先將數據建模和數據分析的過程進行可視化，用戶無需變形複雜的代碼即可完成數據建模，同時豐富的分析演算法，如聚類分析、關聯分析、相關性分析、決策樹、數據聯想等，不需要寫代碼，只需簡單拖拽操作就可以實現，簡單操作的同時滿足了用戶的複雜分析需求。

六、更多功能

聯動或有bug，正在優化（望體諒）

http://www.moojnn.com/public.html#/f2yymm (二維碼自動識別)

近期，我們正在全力研發更好用，更實用的分析功能，謝謝期待！

寫的有點亂，大家多多包涵！！！

數據分析工具包括兩個層面：一是數據分析開發工具包，二是數據分析軟體工具。

一、數據分析開發工具包
封裝提供了常用圖表的編程介面，包括折線圖、餅圖、柱狀圖、雷達圖、關係圖、氣泡圖以及一些複雜的網路圖表等，這些圖表無需數據分析人員再編程開發，只需通過API綁定數據即可實現豐富的圖表，但分析人員還是需要通過編程實現數據分析可視化界面。
常用的數據分析開發工具包有：
1. D3，比較老牌和流行的數據可視化JS庫，很多數據可視化產品均基於D3實現。
優點是實例豐富，提供的圖表非常全，個性化定製強，能夠通過擴展實現任何可以想到的數據可視化效果，並提供大量線性圖和條形圖之外的複雜圖表樣式。
缺點是學習曲線較高，要達到理想使用效果需要用戶深入理解JavaScript。
2.echarts，百度出品，文檔較全，中文資料，當前已經出到3.0版本，提供的圖表也非常豐富（較D3少），個人認為echarts做得還是挺好的。
3.highcharts，類庫大小：超輕量級，並且性能非常好，支持所有瀏覽器，缺點是高級圖表需要收費。
4.fusioncharts，圖表也比較齊全，但較笨重，價格也較高。
5.chart.js,輕量靈活，但提供的圖表很少。
6.dataV，阿里出品，數據圖表較echarts相當，發展很迅速。
如果不需非常複雜的圖表，個人推薦使用echarts，免費，社區比較成熟，中文文檔閱讀方便。
二、數據分析軟體工具
即我們常說的BI工具，數據分析人員只需在軟體工具上定義好數據源和數據模型，即可通過可視化界面操作分析數據，無需編程，是成品工具。數據分析軟體工具一般是商業產品，需要收費。
常用的數據分析軟體工具有：
1. Tableau，桌面版，老牌數據分析工具，支持儀錶板、各種報表圖表、地圖，數據報告，支持多維分析，數據可視化效果很好等。
2. qilkview，桌面版，基於其內存分析引擎，數據分析速度較快，功能與Tableau類似。
3. Excel，免費，簡單，人人電腦上均有，網上有很多教程。
4. 魔鏡，國內較好的數據分析可視化工具，適應國內複雜的報表
5. BingoInsight，基於WebOS實現，提供自助分析工具、GIS地圖展示工具、數據報告工具、腦圖分析工具等。
以上均為較為簡單的數據可視化分析圖表，如趨勢分析、佔比分析、關係分析等，如需複雜的數據挖掘演算法支持，可選用SAS或者SPSS，但以上兩者均是商用產品，如需免費使用，可使用開源的R語言或者Weka。

大數據分析，不管是會excel，還是會sql，多多少少要有點基礎的。大數據分析的工具很多，以下就列舉了不同技術背景的人士，在大數據分析工具方面的進修技術路徑：

一、Excel起步

作為一個入門級工具，Excel是快速分析數據的理想工具，也能創建供內部使用的數據圖。如果在眾多數據分析工具中您只了解最基本的Excel，以下是最好的進階路線

二、SQL起步

如果你了解SQL，說明你已經具備了更快提升的基礎，建議如下進階路線：

三、R語言起步

作為用來分析大數據集的統計組件包，Ｒ是一個非常複雜的工具，掌握R意味著你比其他IT專業人士可以更快上手一些專業分析工具和服務。

四、Python起步

五、MySQL起步

六、微軟SQL Server起步

七、Tableau/FineBI起步

作為大數據前端分析工具，Tableau和FineBI都很容易上手

八、Java起步

九、PostgreSQL起步

十、Visual Basic起步

1、RoR的發展前景還是很光明的。RoR在短時間內取得了巨大的成就，它打破了Web開發領域的固有觀念，方便快捷的開發方式使其被廣泛接受。而事實上，已有幾家跨國公司正在使用RoR開發自己的Web應用程序，並且有多家大型公司在考慮使用RoR進行Web應用開發。大數據
2、Dyson智能分析系統：是國內公司自主研發，可以完整的實現大數據的採集、分析、處理。

1.Hadoop 是一個能夠對大量數據進行分散式處理的軟體框架。Hadoop 可靠，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 可伸縮，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。Hadoop是一個能夠讓用戶輕鬆架構和使用的分散式計算平台。用戶可以輕鬆地在Hadoop上開發和運行處理海量數據的應用程序。
2.HPCC，High Performance Computing and Communications(高性能計算與通信)的縮寫。
3.Storm是自由的開源軟體，一個分散式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。Storm由Twitter開源而來，其它知名的應用企業包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、 Admaster等等。
4.Apache Dril，該項目幫助谷歌實現海量數據集的分析處理，包括分析抓取Web文檔、跟蹤安裝在Android Market上的應用程序數據、分析垃圾郵件、分析谷歌分散式構建系統上的測試結果等等。
5.RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及範圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。
6.Pentaho BI 平台是一個以流程為中心的，面向解決方案(Solution)的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等組件集成起來，方便商務智能應用的開發。BI 平台包含組件和報表，用以分析這些流程的性能。目前，Pentaho的主要組成元素包括報表生成、分析、數據挖掘和工作流管理等等。這些組件通過 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技術集成到Pentaho平台中來。 Pentaho的發行，主要以Pentaho SDK的形式進行。Pentaho BI 平台構建於伺服器，引擎和組件的基礎之上。這些提供了系統的J2EE 伺服器，安全，portal，工作流，規則引擎，圖表，協作，內容管理，數據集成，分析和建模功能。

羅伯特·墨菲提出：經濟學可以被定義為關於交換的研究。所有關於交換的例子中，都貫穿著稀缺這一共同主題。稀缺：資源是有限的，慾望是無窮的。所以稀缺是普遍存在的。所以經濟問題的源頭在於稀缺。經濟學的基礎因而既不是理性也不是自私，而是稀缺！

在海量的業務和行為數據中淘出有價值的數據資產，用於具體的業務場景，本身就是非常稀缺的資產。而對於這些數據資產的收集、管理、應用與交易在2017年也出現了營銷級Saas化的大趨勢，尤其和廣告系統的產品結合，用於精準營銷。

狹義的廣告DMP，主要是接受數據擁有者（可能是廣告主、也可能不是）的委託，按照其需求進行數據加工，並將加工結果用於指導運營優化、廣告投放等任務。其商業模式上做的關鍵，是「來料按需加工」，收取加工費用。

在非專業人看來，中國很多做大數據的公司，追求的是什麼？追求的就是Data，追求的就是數量。

有一天有一個哥們把一個朋友介紹到我們公司來了，他說你們不是做大數據的嗎？我們這兒有很多數據你買不買？我說啥數據？這個哥們從包里整出一個硬碟說，「80G，賣給你」。我覺得很好笑，大數據追求的不是數據的數量，追求的是數據的實時性，數據的維度、豐富度和特點。所以我們做大數據的時候，很多企業走了第一個誤區就是像這個圖顯示的一樣，追求的是多，但沒有抓住大數據的內涵，這是第一個誤區。

第二個，我們做大數據的時候需要對數據做處理和加工，分門別類的找出它每一個屬性，你這個屬性的實體代表什麼，後面的屬性是什麼，你都要去做一些處理，而不是說數據就放在硬碟裡面而已。這些數據的加工和處理意味著什麼？意味著你對它背後所代表的數據屬性的理解和洞察，對於數據演算法能力的了解，如果沒有的話，這些數據也僅僅是數據，它上升不到Information的階段。

第三個，我跟很多人聊他們用DMP做什麼，他們用DMP僅僅做數據的收集和統計，變成了KPI系統，每天看的是新增、留存、激活、渠道和數據，其他都不看了。我說各位老大，DMP不是一個KPI報表，系統里有自定義事件，有漏斗模型，有AARRR模型，有渠道質量評估，有各種能幫你降低成本的東西，能形成一套知識方法論幫助你，你為什麼只看數字這一點？只看表面浮華的，誇張的數字，僅此而已。那你可以想像他對這個產品的運營粗略到什麼程度，如果一個企業老闆這樣運營和看自己的數據，那你能想像這個運營團隊是怎麼樣使用他的數據，不可能做得很深！

我用了這個DMP對我的業務就能好了嗎？不僅如此。有了這個之後你還要做Insight。很多人都以為有了大數據就可以做預測，其實不是這樣的，那是我們的夢想和理想，事實遠不到這個地步，事實是什麼？事實是我們先要用數據的方法解決我們的現有業務問題，幫助我們做產品優化和運營，我們才有可能說通過這些數據的理念和方法去預測我們產品的下一步和市場的下一步，去做一些決策，其實我們要做紮實的是第一步。第二步（預測）只停留在大部分科普作家的書中。當然你想做到最後一步是很艱難的，通過數據的洞察最後能形成某種智慧，對你所在的行業做高屋建瓴的指導和分析，這需要持續的行業積澱和思考。

拿我們的城市地圖為例，一個城市裡面所有的建築物，這些不同的點之間可能有路的聯網，最後哪兩個點距離最短，哪兩個點距離最長會變成知識，變成現在大家看到的導航系統，其實它的內核就是對大數據的合理運用。

聊完成這些，對一個企業而言，需要有真正願意為數據做分析做模型的人，真正願意去挖掘業務場景和分析用戶需求，他們認為數據是好玩有趣的，能夠幫助企業解決問題，發現各種類型帶有小趨勢的人群，先分析大的群體，再從裡面找到更關鍵的人群，分析這些關鍵的人能提供什麼價值，是不是可以用於精準營銷，是不是可以用於人群標籤的交易和交換等等，去幫助相應企業解決業務問題。

更需要有對業務理解很深的人，他能夠把產品和數據結合起來，幫助你對產品做一些優化、迭代、升級，甚至顛覆。你還需要一些領域工程師，這個更多的是指對大數據企業而言，你的數據要發揮作用，發揮價值，你不能對客戶說我有10億、8億、20億數據，你買我的數據吧，這些企業不會理你的。所有的企業，無論是金融還是互聯網，無論是房產還是電商，他只會說我有一個風控問題，有一個這樣的業務漏洞問題，有一個營銷的困境，你們是做大數據的，你能幫我解決嗎？問題就來了。數據公司只有數據、有演算法，有模型。具體行業的公司它有什麼？它有需求，所以你要和它結合，幫助它解決問題才能真正的發揮價值。

那麼問題來了，對大多數企業而言，並沒有能力駕馭以上領域的人員。為什麼企業的老闆只把數據統計系統當成KPI系統，是因為它沒有有效銜接的能力，公司沒有把前端業務和後端數據銜接，沒有人去幫助它分析問題、解決問題，所以它也只能去看數據，而不能用數據。

所以很多企業開始意識到數據資產重要，而又不懂如何應用，DMP領域的知識又非常封閉稀缺。

正是這樣的背景下，作為一個廣告DMP愛好者，我創建了一個付費知識社區，將DMP全面開放到底。

本期聊的知識點

2個月前創建以來，目前有超過200位愛好者加入，大多數是互聯網廣告領域的產品人員，技術和運營人員，有來自騰訊、百度、阿里、滴滴、小米、璧合、億瑪、品友、58、京東和谷歌等一些海外從業者。

其實，最關鍵的一點是，如果你關心廣告DMP知識社群和願意為有價值的內容付費，無論琢磨多久，都沒用。行動起來，加入我們，你的理解必然更加深刻。

掌握未來語言，IT從小抓起，關注微信公眾號：小鳥編程（O2Opark _GZ )，加入"廣告DMP"圈子，和伊姐（谷歌大數據產品）一起終身學習。

國內不清楚，我們主要用excel, power bi

數據可視化工具：原文鏈接：數據可視化工具

1、金數據 - https://jinshuju.net/

簡介：免費好用的表單設計和數據收集分享工具

2、友盟 - http://www.umeng.com/

簡介：全球領先的第三方全域大數據服務提供商

3、雁陣 - http://www.geeseteam.com/index.html

簡介：專業的在線項目管理工具，在線甘特圖管理

4、夥伴雲表格 - https://www.huoban.com/

簡介：支持團隊協作的在線表格工具，支持導入excel分享

5、LambdaCloud覽雲數據 - http://www.lambdacloud.com/

簡介：專註於用戶行為的大數據解決方案和服務平台，目前主打遊戲數據深度分析

6、地圖慧 - http://www.dituhui.com/

簡介：面向個人用戶和企業用戶的在線製圖與地理信息服務平台

7、圖表秀 - http://www.tubiaoxiu.com/

簡介：免費在線圖表製作工具，數據可視化工具。支持動態交互的高級數據可視化分析圖表的製作

8、GrowingiO - https://www.growingio.com/

簡介：基於用戶行為的新一代數據分析產品

9、appadhoc - http://www.appadhoc.com/

簡介：吆喝科技開發的一款APP數據分析，網站數據統計工具

10、Gephi - https://gephi.org/

簡介：開源免費跨平台基於JVM的複雜網路分析軟體，支持動態、分層圖的交互可視化

11、數說故事 - http://www.datastory.com.cn/

簡介：領先的大數據服務商，專註品牌企業提供基於互聯網大數據的消費者與市場研究服務

12、酷傳 - http://www.coolchuan.com/

簡介：APP發布和監控平台，幫助開發者實現高效的推廣服務

13、talkingdata - http://www.talkingdata.com/

簡介：中國最大的獨立第三方移動數據服務平台

14、諸葛IO - https://zhugeio.com/

簡介：精細化用戶行為數據分析工具，移動應用分析工具

15、Infogram - https://infogr.am/

簡介：數據信息可視化圖表插件工具

16、TabLeau - http://www.tableau.com/

簡介：數據可視化分析工具

17、GapMinder - https://infoactive.co/

簡介：在線互動圖表數據平台

18、百度圖說 - http://tushuo.baidu.com/

簡介：百度開發的在線圖表製作工具，零編程，玩轉圖表大數據

19、數據觀 - https://shujuguan.cn/

簡介：在線數據分析可視化工具，官方宣傳是所有人都會用的數據分析工具

20、神策數據 - https://sensorsdata.cn/

簡介：可以私有化部署的用戶行為分析產品

在線數據分析工具：原文鏈接：在線數據分析工具

1、金數據 - https://jinshuju.net/

簡介：免費好用的表單設計和數據收集分享工具

2、友盟 - http://www.umeng.com/

簡介：全球領先的第三方全域大數據服務提供商

3、LambdaCloud覽雲數據 - http://www.lambdacloud.com/

簡介：專註於用戶行為的大數據解決方案和服務平台，目前主打遊戲數據深度分析

4、GrowingiO - https://www.growingio.com/

簡介：基於用戶行為的新一代數據分析產品

5、調研寶 - http://www.diaoyanbao.com/

簡介：在線表單設計工具、網頁調查工具

6、appadhoc - http://www.appadhoc.com/

簡介：吆喝科技開發的一款APP數據分析，網站數據統計工具

7、京東調研 - http://diaoyan.jd.com/home.htm

簡介：京東旗下的一款中國權威的調研平台

8、數說故事 - http://www.datastory.com.cn/

簡介：領先的大數據服務商，專註品牌企業提供基於互聯網大數據的消費者與市場研究服務

9、酷傳 - http://www.coolchuan.com/

簡介：APP發布和監控平台，幫助開發者實現高效的推廣服務

10、talkingdata - http://www.talkingdata.com/

簡介：中國最大的獨立第三方移動數據服務平台

11、諸葛IO - https://zhugeio.com/

簡介：精細化用戶行為數據分析工具，移動應用分析工具

12、TabLeau - http://www.tableau.com/

簡介：數據可視化分析工具

13、GapMinder - https://infoactive.co/

簡介：在線互動圖表數據平台

14、百度圖說 - http://tushuo.baidu.com/

簡介：百度開發的在線圖表製作工具，零編程，玩轉圖表大數據

15、易觀方舟 - http://dev.analysys.cn/

簡介：易觀旗下面嚮應用開發者的數據分析雲平台

如果你做開發：js圖表庫：原文鏈接：20+ 前端開發必備JS圖表插件庫

1、Chart.js - http://www.bootcss.com/p/chart.js/

簡介：基於HTML5 canvas技術的開源圖表繪製工具庫

2、D3.js - https://d3js.org/

簡介：最流行的JS可視化繪製圖表插件庫

3、地圖慧 - http://www.dituhui.com/

簡介：面向個人用戶和企業用戶的在線製圖與地理信息服務平台

4、圖表秀 - http://www.tubiaoxiu.com/

簡介：免費在線圖表製作工具，數據可視化工具。支持動態交互的高級數據可視化分析圖表的製作

5、Infogram - https://infogr.am/

簡介：數據信息可視化圖表插件工具

6、N3-charts - http://n3-charts.github.io/line-chart/#/home

簡介：基於AngularJs的小量受眾的圖表插件

7、Plottable.js - http://plottablejs.org/

簡介：創建靈活可定製圖表的 JavaScript 組件，基於 D3.js 構建

8、EmberCharts - http://opensource.addepar.com/

簡介：基於Ember.js 和 d3.js 框架構建的JS圖表庫

9、Cytoscape.js - http://js.cytoscape.org/

簡介：可視化的交互圖形庫

10、Morris.js - http://morrisjs.github.io/morris.js/

簡介：基於jquery的輕量級JS時序圖庫

11、highcharts - http://www.highcharts.com/

簡介：兼容 IE6+支持移動端類型豐富、方便快捷的圖表庫

12、Rickshaw - https://github.com/shutterstock/rickshaw

簡介：用於繪製時序圖的簡單 jS 庫【基於D3 庫構建】

13、Flot - http://www.flotcharts.org/

簡介：免費的Javascript繪製圖表插件【英文】

14、NVD3 - http://nvd3.org/

簡介：建立可復用的圖表和組件JS圖表庫

15、Sigma.Js - http://sigmajs.org/

簡介：輕量級開源JS圖表庫，使用HTMLCanvas元素繪製圖形

16、Dygraphs - http://dygraphs.com/

簡介：快速、靈活的開源的JavaScript圖表庫

17、Cubism.js - http://square.github.io/cubism/

簡介：是 D3 可視化庫的一個插件，用於實現時序圖

18、C3.js - http://c3js.org/

簡介：基於 D3 的可重用、可深度整合的 JS 圖表庫

19、Echarts3 - http://echarts.baidu.com/index.html

簡介：百度開發的功能最完善的商業級數JS據圖表繪製插件

20、ichartjs - http://www.ichartjs.com/

簡介：基於HTML5、原生Javascript的繪製圖形庫。

21、CanvasJs - http://canvasjs.com/

簡介：基於JS和HTML5的圖表插件，例如jquery使用大量鏈式操作

22、FusionCharts - http://www.fusioncharts.com/

簡介：適用於Web和手機的JS圖表繪製插件【個人免費，商業收費】

23、Chartist - http://gionkunz.github.io/chartist-js/

簡介：小巧的響應式圖表庫，支持CSS動畫，支持桌面和移動平台使用

24、Sparklines - http://omnipotent.net/jquery.sparkline/#s-news

簡介：小型數據可視化插件【凸現數據顯示，設計簡單，能提供文字大小圖片】

互聯網工作者導航 https://www.bidianer.com

提到用Excel的朋友簡直是在講笑話
國內對大數據應用的學習和了解目前只是處於初步階段
國內原有的大量數據處理，學術上只能稱為：批量數據處理
而大數據處理問題，解決的是海量數據的問題

解決這一問題：
有幾個方面
1.安全方面：脫密技術、加密技術，恩師出台的無條件安全技術等目前由國家相關部門獨立擁有。其工具更不談公開
2.處理方面：Hadoop，Hive，Hbase。近年阿里雲的data lake。Echart什麼的只能算批量數據處理的應用軟體。
3.應用方面：以IBM和Oracle為行業標杆。近期可以關注的還有：Teradata、Opower、Splunk

主要應用分類：
1.實時處理
即時決策
2.海量計算
價值挖掘

回歸正題，答題主問：
對於數據科學家，主要工具還是演算法、代碼和論文
對於政府，主要工具是別人家的政策和預算
對於大數據公司，主要工具就是科學家和政府
對於企業，主要工具是數據公司提供的分析軟體
對於平民，主要工具是企業的各種應用

有補充疑問的可以評論，所有國內出版的大數據書籍我都看過了，基本木有什麼卵用，推薦大家看白皮書
博主恰好搭建過hadoop寫過基於英文分詞庫做的新聞語義分析，實現了對新聞主題監控的功能，略懂

（註：本部分根據小講「大數據人的數據科學家之路」中的「大數據基礎技術」章節分享整理而成）

hadoop和Spark是兩種不同的大數據處理框架，他們的組件都非常多，往往也不容易學，我把他們兩者整理在一幅圖中，給大家一個全貌的感覺。初學者可以針對如下圖中的組件，逐個的去研究攻破。至於各組件的詳細介紹、相關聯繫和區別，以及它們在大數據平台建設中的具體實施關注點，待點贊數達到1000，我再對帖子進行詳細的更新，請大家隨手幫忙點個贊。

以上這些大數據組件是日常大數據工作中經常會碰到的，每個組件大概的功能，我已經在圖中做了標識。下面，針對這幅圖我給大家兩點重要提示：

a.藍色部分，是Hadoop生態系統組件，黃色部分是Spark生態組件，雖然他們是兩種不同的大數據處理框架，但它們不是互斥的，Spark與hadoop 中的MapReduce是一種相互共生的關係。Hadoop提供了Spark許多沒有的功能，比如分散式文件系統，而Spark 提供了實時內存計算，速度非常快。有一點大家要注意，Spark並不是一定要依附於Hadoop才能生存，除了Hadoop的HDFS，還可以基於其他的雲平台，當然啦，大家一致認為Spark與Hadoop配合默契最好擺了。

b.技術趨勢：Spark在崛起，hadoop和Storm中的一些組件在消退。大家在學習使用相關技術的時候，記得與時俱進掌握好新的趨勢、新的替代技術，以保持自己的職業競爭力。

HSQL未來可能會被Spark SQL替代，現在很多企業都是HIVE SQL和Spark SQL兩種工具共存，當Spark SQL逐步成熟的時候，就有可能替換HSQL；

MapReduce也有可能被Spark 替換，趨勢是這樣，但目前Spark還不夠成熟穩定，還有比較長的路要走；

Hadoop中的演算法庫Mahout正被Spark中的演算法庫MLib所替代，為了不落後，大家注意去學習Mlib演算法庫；

Storm會被Spark Streaming替換嗎?在這裡，Storm雖然不是hadoop生態中的一員，但我仍然想把它放在一起做過比較。由於Spark和hadoop天衣無縫的結合，Spark在逐步的走向成熟和穩定，其生態組件也在逐步的完善，是冉冉升起的新星，我相信Storm會逐步被擠壓而走向衰退。

（註：想看更多乾貨，了解更多大數據獨門絕技，歡迎參加小講「大數據人的數據科學家之路」）

歡迎大家拍磚指正，歡迎大家關注我的知乎專欄「大數據實踐與職業生涯」並留言，專欄會陸續的推出過往十多年的大數據工作經驗總結和我的一些研究實踐成果。如果你是大數據新人，或者想轉行進入大數據領域，或者職業生涯上存在一些疑惑，都歡迎關注我的知乎live分享「大數據人的職業生涯規劃」和「數據分析師-從零入門到精通」、「大數據人的數據科學家之路」、「企業大數據戰略及價值變現」。

數據可視化是技術與藝術的完美結合，它藉助圖形化的手段，清晰有效地傳達與溝通信息。一方面，數據賦予可視化以意義;另一方面，可視化增加數據的靈性，兩者相輔相成，幫助企業從信息中提取知識、從知識中收穫價值。

目前市場上比較流行的可視化展現工具是Tableau/Qlik/IBM Cognos。這些工具我也都用過。

比較如下：

補充一句，可視化這塊，還是要數據輸出簡單明了，對於很多中小型企業，這3個軟體都夠了，對於BAT這種，如果輸出，一定是建立臨時表，然後用這些可視化工具展現。