什麼是流式數據訪問?

目前很多大數據處理類似Hadoop,都是流式數據訪問,請問下什麼是流式數據?

和之前的二進位相比呢?

謝謝


來一點

處理一點

就象看網路上的黃片一樣

你永遠不知道下一幀是啥

而且,

你的顯示程序要算得比數據來的速度快


流式數據,特點就是,像流水一樣,不是一次過來而是一點一點「流」過來。而你處理流式數據也是一點一點處理。如果是全部收到數據以後再處理,那麼延遲會很大,而且在很多場合會消耗大量內存。

流式數據被封裝成了byte流(其實也是二進位的)


大數據技術的廣泛應用使其成為引領眾多行業技術進步、促進效益增長的關鍵支撐技術。根據數據處理的時效性,大數據處理系統可分為批式(batch)大數據和流式(streaming)大數據兩類。其中,批式大數據又被稱為歷史大數據,流式大數據又被稱為實時大數據。

舉個例子來說:我們把數據當成水庫的話,水庫裡面存在的水就是批式大數據,進來的水是流式大數據。

流式大數據實時處理是大數據時代信息化的重要抓手。採用「事中」甚至「事前」模式實現感知、分析、判斷、決策等功能的智能系統需要流式大數據實時處理平台的支撐。

此外,流式大數據實時處理可以為大數據驅動的深度學習提供計算框架支撐。「流立方」流式大數據實時處理平台可為研製融合邏輯推理、概率統計、眾包、神經網路等多種形態的下一代人工智慧統一計算框架提供支持。

推薦文章:什麼是流式大數據,處理技術、平台及應用都是什麼? - 大數據 多智時代


個人淺見:

針對數據的指針,

傳統的某個數據指向,

是由數據信息頭指針和下標位移來確定,

永遠是有一個指向信息頭的指針;

而所謂的流,

是直接在讀寫中依賴節點指針、

即時處理上下文數據之間的銜接,

僅僅依賴於上下文、而不必追尋信息頭。


你那裡看到的「流式數據訪問」?


可能跟翻譯有關係。權威指南裡面說的是Java的InputStream/OutputStream,和data stream processing里的stream可能還有點區別。


推薦閱讀:

hadoop的源代碼寫的怎麼樣?
HDFS上小數據如何能負載均衡?
從事分散式系統、計算、hadoop 等方面工作需要哪些基礎?
為什麼 Storm 比 Hadoop 快?是由哪幾個方面決定的?
在社交網路中,如何去計算中兩個人之間的最短路徑?

TAG:數據分析 | Hadoop |