數據量在億級以上,hbase與mongodb的選擇?

數據類型:數據的內容主要是一些記錄數據(結構化的)、圖片數據、影像數據、特殊文件格式,文本數據(json),這些數據都需要包括。

應用場景:主要是一些簡單的查詢和統計。這些數據很多都是C端用戶數據,讀的頻率相對會高一些。


謝邀!

用hbase吧。對於你這樣的數據需求可以分family存儲。


HBase比較適合非結構化數據,列式存儲是特色。

適配hadoop生態圈強,有良好的分散式處理潛力。缺點是需要搭hdfs文件系統,運維吃力。

寫性能很強,查詢性能一般,延時是100ms級別的吧。

mongodb是文檔型資料庫,一般數據也都可以hold住。

查詢手段比較多樣化,有二級索引等。

寫性能弱於HBase,查詢性能差不多吧。

圖片數據什麼的轉化成二進位就行。

自己選擇咯。


1. 我們做移動的項目,每天存儲在20億條 hbase+hdfs; 讀性能基本都在ms級別 0-100ms; 每次讀取用戶話單量應該在1w條左右


推薦閱讀:

Hadoop生態圈技術
驚心動魄的Hadoop-6小時350T數據恢復
Zookeeper完全分布模式——第一章(安裝與配置)
Spark 讀
spark 環境搭建及幾種模式測試

TAG:MongoDB | Hadoop | HBase | 大數據 | 大數據分析 |