有什麼關於pregel的論文或者演算法值得一讀?
01-06
你想問的是pregel吧,graph engine是很重要的分散式系統研究領域,有很多的paper
pregel是google的開山之作,然而並沒有開源:(giraph是開源界對於pregel的克隆,如果你只是要用的話。。。facebook已經說他們能用這個搞trillion edge的graph了一.一
而後基於更進一步的亂七八糟的motivation,大家又先後造出一大堆相似然而不同的東西:(下面是我讀過的圖計算領域相關的比較重要的paper
現在我終於可以給大家安利我們組的工作,發表在今年的SoCC上的
GraMGraM是迄今為止最快的圖計算系統,採用統一的MessagePassing的通信模型,基於RDMA,在保持系統高效性(COST為4,即4個線程時幹掉優化過的單線程程序)的同時,做到了同時在單機上的scale-up和集群上的scale-out。相比於其他圖計算系統,GraM取得了高達1到2個數量級及以上的性能提升。Pregel: a system for large-scale graph processing: Google的大規模圖計算系統,相當長一段時間是Google PageRank的主要計算系統,對開源的影響也很大。
港中文大學有個叫鄭尚策的教授,一直在研究這個方向,也做了個類pregel的系統。可以去他主頁看看
推薦閱讀:
※Paxos、Raft演算法當前階段比較穩定的,經過生產環境驗證的開源實現有哪些?
※CAP理論中的P到底是個什麼意思?
※拜占庭將軍問題確保系統正常為什麼需要2k+1個正常節點?
※ETH CS Master(全獎) vs UPenn CIS PhD,如何選擇?
※TiDB和CockroachDB同為Spanner/F1的開源實現,有哪些重大差異?
TAG:分散式計算 | 數據挖掘 | 數據分析 | 分散式系統 | 並發並行與分散式系統 |