大數據2016年大事記

01-31

2017年已過去1/4，值此之際，讓我們盤點一下2016年大數據分析領域發生的大事件。

國外商業智能（BI）領袖衰落

2016年2月，紅極一時的BI和可視化工具提供商Tableau發布財報，業績令人大失所望，其市值在一天之內被腰斬。這預示著2016年的BI市場將動蕩不安。幾個月後，風暴再起，Qlik Technologies的股價暴跌一半多，在2016年6月被Thoma Bravo以大約30億美元的價格收購。

雖然Tableau和Qlik一直都是一流的工具，但它們曾經一馬當先的領先距離已經大幅縮小，因為微軟（Microsoft）、Microstrategy、Alteryx、Birst、Domo、Sisense、Gooddata 還有國內的帆軟等其他公司紛紛推出了性價比更高、性能強大的BI工具。市場調研公司Gartner的《2017 年BI和分析平台魔力象限》報告記錄了不少於24家公司。Gartner表示，BI市場已經達到「臨界點，需要我們從新的角度來思考」。

參考：深入解讀《Gartner2017年商業智能和分析平台魔力象限報告》

人工智慧（AI）崛起

谷歌（Google）旗下的DeepMind公司開發了AlphaGo系統，在圍棋比賽中戰勝人類頂尖棋手。按照英偉達（Nvidia）一位產品經理的話說，這場人機大戰堪稱AI技術的「宇宙大爆炸」時刻。從Siri和Alexa等AI驅動的聊天機器人，到自動駕駛汽車，無數消費者漸漸意識到AI帶來的巨大好處。

我們也看到了新的AI服務面世，包括2016年11月互聯網巨頭亞馬遜（Amazon）在AWS re:Invent大會上發布的Amazon AI。2016年10月，加州大學伯克利分校宣布，曾經發明Apache Spark等多項大數據技術的AMPLab實驗室將被替換為RISELab實驗室，後者將致力於AI和自動駕駛汽車等應用。這為AI正在吞沒和超越大數據概念的想法提供了更多佐證。

Hadoop十歲了

2016年1月底的一天是首個Hadoop生產集群在雅虎（Yahoo）誕生的十周年紀念日。雅虎工程師們最初只希望這個10節點的集群能夠持續運行一整天，根本沒想到Hadoop後來會成為大數據計算的代表，每家財富100強企業必備的IT工具。

Hadoop的成功無疑超出了道格·卡丁（DougnCutting）的期望，這位Cloudera公司架構師和邁克·加法雷拉（Mike Cafarella）共同創造了Hadoop。在Strata + Hadoop World大會上一場廣泛性的演講中，卡丁說出了自己內心的疑惑：我們是否已經達到了「Hadoop頂峰」？未來十年的Hadoop會是什麼樣子？考慮到大數據界對Hadoop第三版（將使存儲能力翻倍並引入糾刪碼）的開發興趣寥寥，大數據技術又發展神速，因此很難說2026年的Hadoop會是什麼樣子，或者沒什麼變化也說不定。

ApachenSpark大行其道

作為經濟實惠的分散式計算開源框架，Hadoop無疑引起了技術人士的關注，他們以前使用昂貴的專業軟體來處理龐大的數據集，費錢又費力。但如果說Hadoop的Java明星光環已經開始淡去，那麼正在取代它的則是另一項可能更有前途的技術，那就是Apache Spark。

Apache Spark在大數據階梯上的極速躥升是一個非常值得注意的現象，不僅IBM等大公司紛紛擁抱該技術，而且幾乎所有的BI和可視化工具提供商都使用這項基於內存的技術來進行批處理、交互處理和流處理。有些人認為，Spark在應用和受歡迎程度方面終將超越Hadoop，甚至已經超越。

Flink和Beam誕生

Spark基本上已經取代了Hadoop的批處理引擎MapReduce，更別說Spark的SQL、機器學習和流處理能力。但永不滿足的大數據界希望改進這套得到Databricks公司支持、用Scala語言編寫的多用途框架。於是Apache Flink和Apache Beam應運而生，成為了Spark在大數據框架之戰中的勁敵。

2016年3月，Cloudera公司的卡丁向DatanArtisans公司的Flink項目表達了敬意。當時他說：「Flink在架構設計上可能要比Spark好上那麼一點點。」與此同時，基於谷歌Cloud Dataflow API的Apache Beam受到了Talend公司一位法國大數據架構師的支持。Beam雄心勃勃，想要用同一組API統一所有的大數據應用開發，並通過「Runner」這種執行引擎支持Spark、Flink和Google Dataflow。

歷史性的民調失靈

毫無疑問，當今的政治民意調查已經成為應用統計（也就是「大數據分析」）的一個運用領域。以前，嚴謹的民意調查只需要通過白頁上的選民名字和電話號碼就可以進行。但現在，民意調查機構如果想從形形色色的選民中獲取具有代表性的樣本，就必須建立細緻的權重模型。

民意調查機構未能就2016年6月的「英國脫歐」公投準確評估選民情緒。如果說這還只是讓人感到意外的話，那麼唐納德·特朗普（Donald Trump）在11月份的總統選舉中擊敗希拉里·柯林頓（Hillary Clinton），與幾乎所有的政治民意調查結果截然相反（只有一項調查例外），則可以說是大數據分析在2016年甚至可能是近十年來的最大慘敗。

大數據黑客入侵

數據明顯具有價值，無論保險公司和會計師怎麼說。所以壞人會想要竊取個人和企業的數據也真的去竊取了，完全不足為奇。2016年發生了多起引人注目的數據泄露事件，比如美國民主黨全國委員會的電子郵件伺服器被攻陷，雅虎10億用戶的數據被黑。而這還沒算上雅虎曾在2016年9月承認，黑客入侵了該公司5億用戶的賬戶。

IdentityForce製作的「2016年網路安全恥辱牆」上還包括：美國司法部（3萬名DHS和FBI職員的數據失竊）；美國國稅局（70萬名納稅人的記錄泄露）；威瑞森（150萬客戶的記錄泄露）；甲骨文（33萬台MICROS收銀機被入侵）；Dropbox（承認6,800萬個賬戶被入侵）；http://AdultFriendFinder.com（4.12億用戶的記錄泄露）。

新的數據初創公司

2016年對大數據的風險投資較2015年減少了大約10%，但這沒有阻止科技創業者成立新公司，希望挖到大數據金礦。2016年的新來者包括：

SnappyData，致力於統一Spark和Pivotal的GemFire數據網格；
Panoply，為AWS Redshift 用戶開發ETL 軟體；
Cosmify，利用機器學習挖掘客戶信息；
Bonsai，這家AI公司在Strata + Hadoop World大會上贏得了創業展示比賽；

Armorway，利用深度學習實現網路安全；
Leyvx，將Flash和Spark結合起來；
Jask，利用AI進行網路安全分析；
Alluvium，致力於縮小「機器與人」的差距；

Pachyderm，這家容器公司在Strata + Hadoop World大會上贏得創業展示比賽；
Skry，區塊鏈智能供應商；
Wavefront，利用大數據來監控IT。

實時Kafka

人人都喜歡的大數據匯流排Apache Kafka在2016年如魚得水，這要歸功於對分析高速移動數據的新要求。Kafka才面世五年，但這部由LinkedIn開發的消息隊列系統已經成為管理流數據和實時數據管道的事實標準。

Kafka由傑伊·克雷普斯（Jay Kreps）和尼哈·納赫德（NehanNarkhede）創造，得到了兩人領導的Confluent公司團隊的支持，是2016年最受歡迎的大數據項目之一。由於人們對實時分析的興趣高漲，這個開源項目的採用率正在飆升。隨著批處理範式不斷與實時數據處理相融合，如果克雷普斯的Kappa架構超越目前流行的Lambda架構，請不要感到驚訝。

開源數據項目

並非所有的大數據產品都是由盈利性企業開發。最有前途的新技術很多都是開源項目。2016年引人注目的開源大數據項目包括：

ApacheArrow：該項目由MapR Technologies公司的一位Drill架構師帶頭，旨在建立一個通用數據層，兼容各種各樣的大數據工具和引擎，比如Drill、Spark、Impala、Cassandra和Parquet；
Alluxio：這是基於內存的文件系統（原名Tachyon），與Apache Spark和Apache Mesos一樣，也出自AMPLab實驗室，現在得到一家同名公司的支持；
ApacheBeam：這是很有前途的大數據框架，其目標之一是用同一組API進行實時交互的批處理，並且通過「Runner」支持Spark、Flink和Google Dataflow；
CrateDB：遵守Apache 2.0協議，是可擴展的SQL資料庫（有些人稱之為NewSQL資料庫），用於實時機器分析；
ApacheKylin：這個基於Hadoop的開源引擎提供聯機分析處理（OLAP）能力，在2016年全年都是Apache軟體基金會（ASF）的頂級項目（TLP）；
ApacheGeode：2016年11月，ASF把分散式內存資料庫Geode 提升為TLP 級別。

大數據用於社會公益

大數據為公眾健康作出貢獻的例子不勝枚舉，包括美國疾病預防控制中心利用機器學習來阻止阿片類物質引發的HIV爆發，Spark和Hadoop加快癌症研究，拓撲數據分析促使研究人員重新思考「干擾變數」對治療外傷性脊髓損傷意味著什麼。

原文參考： 2016:A Big Data Year in Review

文章同步發布在微信公眾號「帆軟數據應用研究院」，ID: fr_research，關注公眾號可獲得更多資訊、案例！

---------------------------

往期閱讀

如何選型商業智能和分析（BI&A）平台，Gartner給了這些建議！

深入解讀《Gartner2017年商業智能和分析平台魔力象限報告》

IT的2017，面臨數字生態系統新挑戰，該怎麼辦？