關於大數據你應該了解的五件事兒

摘要： 本文從基本概念、行業趨勢、學習途徑等幾個方面介紹了大數據的相關內容，適合對大數據感興趣的讀者作為入門材料閱讀。

隨著科技的發展，目前已經步入了大數據的時代，很多社交媒體和互聯網公司也非常關注大數據這一行業。那麼對於大數據而言，這裡有五件事情是你應該了解的。

1.大數據是什麼？

簡單地說，大數據指的是通過計算分析大數據集，以揭示與數據某一方面相關的模式或趨勢。對於大數據而言，數據量沒有一定的要求，只要足夠得出可靠的結論即可。

M-brain從以下八個「V」方面說明大數據：

1.VOLUME：能夠發現自己想要的信息嗎？

2.VALUE：當你最需要它的時候你能發現它嗎？

3.VERACITY：處理的是有用信息還是虛假信息？

4.VISUALISATION：一眼就能看明白嗎？它能促進決定嗎？

5.VARIETY：一張圖比一千個詞更有價值嗎？獲得的信息均衡嗎？

6.VELOCITY：從信息獲得動力，危機和機遇同時存在，未來的前景會如何？

7.VISCOSITY：是否受到困擾？需要採取進一步行動嗎？

8.VIRALITY：它是否傳達了一個可以粘貼到演示文檔中的信息？

2.如何能夠接觸大數據？

數據在現實生活中無處不在，而且隨著時間的推移會積累的越來越多。通過谷歌搜索就可以使你幾乎能夠找到所有的資料庫。很多人不知道那些已經存在的數據可供訪問和分析，如果你不知道的話，可以在KD Nuggets網站上找到可供訪問和挖掘的數據列表。如何訪問和使用這些數據主要分為以下六個方面：

數據提取

在進行任何事情之前，都需要使用一些數據。現實中可以通過多種方式獲得所需要的數據，但通常的做法是通過API調用公司的web服務獲得相關數據。

數據存儲

大數據面臨的主要難題之一是如何存儲並管理它，這完全取決於負責建立數據存儲的預算和個人具備的專業知識，因為對於大多數數據管理者來說，都需要具備一些編程方面的知識。良好設計的資料庫允許用戶安全地、直接地存儲和查詢數據。

數據清洗

不管你喜歡與否，數據集有各種各樣的形式和大小。在考慮如何存儲數據之前，需要確保它是乾淨的，且轉化成能夠被接受的格式。

數據挖掘

數據挖掘是從資料庫中洞察一些信息的過程，這樣做的目的是根據當前持有的數據提供預測並作出決定。

數據分析

一旦收集了所有的數據後，就需要對其進行相關任務的分析、尋找有趣的模型或趨勢。優秀的數據分析師會發現一些不同尋常的東西或其他人之前沒有發現的內容。

數據可視化

對於數據處理而言，對其最重要的可能是數據可視化。可視化是在完成所有工作後輸出一個能被任何人理解的可視化載體，這可以通過使用編程語言（如http://Plot.ly、d3.js）或軟體（如Tableau）實現。

3.與大數據相關的職業

隨著市場對大數據相關需求的增加，與之相關的職業需求數量也在上升。根據相關機構的統計研究，一個大數據工程師每年的平均工資是150000美元。

根據相關研究報道，超過80%的數據科學家有碩士學位，使得他們能夠從事這個領域的任何工作。

4.新興行業

簡而言之，大數據行業是一個正在快速成長的行業。很多公司和個人都對大數據非常關注，下圖是谷歌趨勢圖。從下圖中可以看到，搜索詞「大數據」從2004年到現在的流行程度增長迅猛。

根據IDC提供的數據，「大數據和業務分析（BDA）」在2017年的全球收入達到150.8億美元，比2016年同比增長12.4%。估計到2020年底，大數據的全球收入可能達到210億美元。

5.如何學習

大數據是一個寬泛的主題，因此所需要學習的內容涵蓋多方面的知識。想要從事該領域工作的人們需要具備一系列的特定技能，包括以下技能中的一個或多個：

1.掌握一種與數據分析有關的編程語言，比如R、Python、SAS和SQL語言等

2.對數學和統計學有很好的理解與掌握

3.具備網頁爬蟲經驗

4.基本的Excel技能

一些網站提供在線大數據課程，比如Coursera、Simpli Learn等。如果你正在尋找一個大學在線課程，可以從Masters Portal列出的全英國95個數據科學和大數據碩士課程中選擇一個適合自己的課程，典型的教學大綱可能包括以下幾個方面：

1.與大數據相關的數學知識

2.Python腳本

3.大數據的商業和科學應用

4.大型資料庫和非關係型資料庫，包括MongoDb、Cassandra和Neo4j

5.數據分析、機器學習和使用Weka、R和Scikit-Learn可視化數據

6.大問題的優化和探索

7.使用Hadoop、Spark、Hive和MapReduce集群計算

作者信息

Dan Clark，卡迪夫大學學生，專註於Web開發、數據可視化。

文章原標題《5 Things You Need to Know about Big Data》，作者：Dan Clark，譯者：海棠，審閱：袁虎。

文章為簡譯，更為詳細的內容，請查看原文

更多技術乾貨敬請關注云棲社區知乎機構號：阿里云云棲社區 - 知乎