數據量在億級以上,hbase與mongodb的選擇?
09-01
數據類型:數據的內容主要是一些記錄數據(結構化的)、圖片數據、影像數據、特殊文件格式,文本數據(json),這些數據都需要包括。
應用場景:主要是一些簡單的查詢和統計。這些數據很多都是C端用戶數據,讀的頻率相對會高一些。
謝邀!
用hbase吧。對於你這樣的數據需求可以分family存儲。
HBase比較適合非結構化數據,列式存儲是特色。
適配hadoop生態圈強,有良好的分散式處理潛力。缺點是需要搭hdfs文件系統,運維吃力。寫性能很強,查詢性能一般,延時是100ms級別的吧。mongodb是文檔型資料庫,一般數據也都可以hold住。
查詢手段比較多樣化,有二級索引等。寫性能弱於HBase,查詢性能差不多吧。圖片數據什麼的轉化成二進位就行。自己選擇咯。1. 我們做移動的項目,每天存儲在20億條 hbase+hdfs; 讀性能基本都在ms級別 0-100ms; 每次讀取用戶話單量應該在1w條左右
推薦閱讀:
※Hadoop生態圈技術
※驚心動魄的Hadoop-6小時350T數據恢復
※Zookeeper完全分布模式——第一章(安裝與配置)
※Spark 讀
※spark 環境搭建及幾種模式測試