大數據的技術和價值

06-12

大數據的技術

大數據主要涵蓋4V，所以大數據並非單一技術，而是眾多技術集合體，它們的共同目的，都是在一定時間內處理完大量的結構化、半結構化或非結構化數據，從大數據中挖掘更多的價值。唯有駕馭個中關鍵技術，方能分析處理大數據，建立商業應用價值。

目前，源於統計學、計算機科學、應用數學和經濟學等領域的技術已經開發並應用於整合、處理、分析和形象化大數據。隨著大數據的不斷發展，新的方法和工具正不斷被開發。

可用於大數據分析的關鍵技術

可用於大數據分析的關鍵技術源於統計學和計算機科學等多個學科，其中關於分析新數據集方法的研究仍在繼續。需要注意的是，A/B測試、回歸分析等技術也可應用於小數據集分析。

根據麥肯錫的分析報告，可用於大數據分析的關鍵技術主要包括 A/B測試、關聯規則挖掘、分類、數據聚類、眾包、數據融合和集成、數據挖掘、集成學習、遺傳演算法、機器學習、自然語言處理、神經網路、神經分析、優化、模式識別、預測模型、回歸、情緒分析、信號處理、空間分析、統計、監督式學習、無監督式學習、模擬、時間序列分析、時間序列預測模型、可視化技術等。

專門用於處理大數據的關鍵技術

可專門用於整合、處理、管理和分析大數據的關鍵技術主要包括BigTable、商業智能、雲計算、Cassandra、數據倉庫、數據集市、分散式系統、Dynamo、GFS、Hadoop、HBase、MapReduce、Mashup、元數據、非關係型資料庫、關係型資料庫、R語言、結構化數據、非結構化數據、半結構化數據、SQL、流處理、可視化技術等。

可視化技術

可視化技術是大數據應用的重點之一，目前主要包括標籤雲、Clustergram、歷史流、空間信息流等技術和應用。

相關技術預測

根據Gartner的技術成熟度模型的預測，在兩年之內，率先達到革命性等級的技術，便是欄位式資料庫（ColumnStore-DBMS）和預測分析技術，將會是企業亟需優先布局的標的。至於社交媒體監控、Web分析等技術，發展狀況持平。

預估2~5年發酵為革命性技術的「第二梯隊」者，則是雲端運算和內存資料庫系統（In-MemoryDBMS）。至於同樣落在2~5年區間的高度發展技術，項目就相當繁多，包括先進的詐欺偵測暨分析技術、以雲端為基礎的網格運算、數據科學家、內存分析（In-Memory Analytics）、內存數據網格（In-Memory Data Grids）、政府公開數據（Open Government Data）、預測模型解決方案（Predictive Modeling Solutions）、社交分析（Social Analytics）、社交內容（Social Content），以及文本分析（Text Analytics）。

另值得一提的是，在2~5年轉為「中度發展」的技術名單中，其間不乏是近來非常熱門的項目，譬如MapReduce、NoSQL資料庫、資料庫SaaS（Database Software as a Service;dbSaaS），此一看似將由熱轉冷的發展趨勢，亦值得保持關注。

大數據的價值

「大數據」趨勢將會在以下五個方面提供價值。

（1）通過讓數據更透明、更可用，大數據能釋放更多價值

在公共部門，讓原本相互分離的部門之間更加容易地獲取相關數據，就可大大降低搜索和處理時間。在製造業，整合來自研發、工程和製造部門的數據以便實現並行工程，可以顯著縮短產品上市時間並提高質量。

（2）通過試驗來發現需求、暴露可變因素並提高業績

隨著組織創造並存儲更多數字形式的交易數據，並以實時或接近實時的方式收集更多準確而詳細的績效數據，組織能夠通過安排對比實驗，運用數據分析獲取更好的決策，例如機構可以利用產品售賣過程中產生的數據來確定存貨時間、下架時間，更加有效地管理貨物，豐富產品種類，提高業績。在線零售商，通過將流量和銷售結合的試驗論證決定價格調整和促銷活動的制定。

（3）根據客戶需求細分人群，以便精確地定製產品和服務以滿足用戶需求

隨著技術的進步，許多公司已經能夠將客戶實時微觀細分以便鎖定促銷和廣告方式，這一方法在營銷和風險管理領域廣為人知。在公共部門，例如公共勞動力機構，利用大數據，為不同的求職者提供工作培訓服務，確保採用最有效和最高效的干預措施使不同的人重返工作崗位。

（4）自動成熟的分析演算法支持人為決策，提高決策能力

成熟的分析方法能夠顯著改善決策過程、實現風險最小化，以及揭示本來隱藏著的洞見。大數據可以提供演算法研究或者演算法執行所需要的原始材料。這種分析方法對於從稅務機關（可以運用自動化風險引擎來標註需要進一步調查的人選）到零售商（可以利用演算法來優化決策過程，如根據實時店內及在線銷售來自動微調庫存和定價）在內的各種組織都有用途。有些情況下，決策未必會自動化，但可以通過使用大數據技巧和技術分析整個巨大的資料庫獲取。有些組織已經在通過分析來自客戶、僱員甚至嵌入產品中的感測器的整個數據集而做出更有效的決策。

（5）創新商業模式、產品和服務改進下一代產品或者服務

醫療保健領域，通過分析病人的臨床和行為數據已經創造了瞄準最適當群體的預防保健項目。製造企業通過內嵌在產品中的感測器獲取數據創新售後服務並改進下一代產品。實時位置數據的出現已經創造了一套全新的從導航應用到跟蹤的服務體系。生產商可以通過分析大數據來判斷消費者對產品質量的評價，藉此來改善售後服務，提高客戶滿意度等等。