國內圖計算研究哪裡比較強?
這裡圖計算是指圖結構數據的計算和分析(不是圖像處理),類似Google Pregel, Spark GraphX,還有GraphLab這種,也包括大規模圖資料庫,分析、查詢、匹配等。
發現最近這個好像比較熱,應用面也挺廣。國內這方面研究哪個學校或者研究機構比較強?具體有哪位老師在做,有些什麼具體方向呢?如果能講講有什麼研究點就更好了 。國外有什麼組可以follow的也可以,但是還是想主要了解國內的情況。謝謝!
僅從發表的論文級別看,據我所知,國內有這些研究機構在圖處理系統這塊做不錯:
1. 清華大學, 陳文光老師
發表的系統GridGraph[1] Gemini[2]
[1] Zhu X, Han W, Chen W. GridGraph: Large-Scale Graph Processing on a Single Machine Using 2-Level Hierarchical Partitioning[C]//USENIX Annual Technical Conference. 2015: 375-386.
[2] Zhu X, Chen W, Zheng W, et al. Gemini: A computation-centric distributed graph processing system[C]//12th USENIX Symposium on Operating Systems Design and Implementation (OSDI 16), Savannah, GA. 2016.
清華其他老師的:CUBE[3] FPGP[4](FPGP是基於FPGA做的圖處理框架)
[3] Zhang M, Wu Y, Chen K, et al. Exploring the hidden dimension in graph processing[C]//12th USENIX Symposium on Operating Systems Design and Implementation (OSDI 16). USENIX Association, 2016: 285-300.
[4] Dai G, Chi Y, Wang Y, et al. FPGP: Graph Processing Framework on FPGA A Case Study of Breadth-First Search[C]//Proceedings of the 2016 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays. ACM, 2016: 105-110.
2.上海交通大學 並行與分散式系統研究所(IPADS)
Cyclops[5] PowerLyra [6] PowerSwitch[7]
[5]Chen R, Ding X, Wang P, et al. Computation and communication efficient graph processing with distributed immutable view[C]//Proceedings of the 23rd international symposium on High-performance parallel and distributed computing. ACM, 2014: 215-226.
[6]Chen R, Shi J, Chen Y, et al. Powerlyra: Differentiated graph computation and partitioning on skewed graphs[C]//Proceedings of the Tenth European Conference on Computer Systems. ACM, 2015: 1.
[7] Xie C, Chen R, Guan H, et al. Sync or async: Time to fuse for distributed graph-parallel computation[J]. ACM SIGPLAN Notices, 2015, 50(8): 194-204.
3. 華中科技大學 袁平鵬老師
PathGraph[8]
[8]Yuan P, Zhang W, Xie C, et al. Fast iterative graph computation: A path centric approach[C]// International Conference for High Performance Computing, Networking, Storage and Analysis (SC』14). IEEE, 2014: 401-412.
好了,我大概就知道這些,至於每個老師有哪些具體的研究方向,很難知道很詳細。總之,我認為圖計算可能相對其他某些研究方向比較容易入門,但是想做出新東西並不容易。雖然圖計算現在很火,但是曾經調研過目前的圖系統已經有100多種。
關於研究點,各個系統可能側重點不一樣,有做存儲優化,劃分優化的,通信優化的等等,但是從整體看都是結合圖特點和架構特點優化減少不必要開銷,提高計算的速度。具體的建議樓主多看看好的論文,關注一下像PPOPP , SIGMOD,ATC,SC等等好的會議相關文章。
最後,安利我們做的基於GPU的圖處理Frog: Asynchronous Graph Processing on GPU with Hybrid Coloring Model,可以關注一下,因為國內做基於GPU圖處理的研究團隊非常之少~。為了不想讓我們老師火,所以我並沒有在上面放上我們老師的名字,哈哈~
今天搜索了一下,感覺上海交大的IPADS實驗室是國內做的最好的,之前以為也許是開放性做的好,但現在看來的確是國內最好,沒有之一。
最近他們做了一個Wukong系統,中了OSDI 2016,也有版本支持流式處理。Fast and Concurrent Query Processing on Big (Linked) Data [IPADS]
之前他們還有一部分工作,DrTM:面向新型硬體架構的內存資料庫研究;Polymer: 基於非均勻訪存模型(Non-Uniform Memory Access)的圖結構分析框架PowerLyra: 差異圖(Differentiated Graph)計算和劃分PowerSwitch: 圖並行計算中的適應性預測和模式轉換Imitator: 大規模圖處理中基於副本的容錯方法Cyclops: 支持高效計算與通信的圖處理方法總結的也許不全,可以去看看這個人的主頁:Rong Chen (陳榕) [IPADS]他們的所有工作基本都開源,自信+水平的表現吧。北京大學做了一個Seraph,主要解決了一些並發條件下的查詢效率問題。
http://net.pku.edu.cn/~xjl/papers/hpdc-xue.pdf微軟開發了Trinity系統,可以通過VS的插件進行二次開發。Trinity - Microsoft ResearchGraph Engine有一些單位做過偏RDF的工作,跟知識圖譜、RDF之類的有關有關:比如華中科大做了一個TripleBit,北京大學計算語言實驗室和MSRA合作過一個gStore系統,主要通過子圖匹配的方式來處理SPARQL查詢。國外的組,我現在看到的:EPFL-LABOS,操作系統實驗室
Graph Analytics
劍橋和馬普所合作的Musketeer團隊
Musketeer - By CamSaS
伯克利的:Ligra
Ligra
先寫這麼多吧……
圖計算實在冷清啊,門外漢來湊個熱鬧。本人非博士,僅僅是碩士跟了個這方面的導師,所以個人現在還是挺關注圖計算的。個人感覺是圖計算變現能力實在太差了,前幾年IBM把投入多年的smart city直接砍掉就能看的出來了。相比目前火爆的深度學習之類的實在是冷了很多。研究點可以看看 anti-money laundering。
好吧我就是一本正經的胡說推薦閱讀:
※MapReduce如何解決數據傾斜?
※國內較知名的大數據服務平台有哪幾家?
※大數據會否使計劃經濟最終掌控世界?
※如今大數據交易平台和大數據交易所有很多,如何解決數據的歸屬權,數據的定價以及交付方式?
※岩土工程/土木工程怎樣應用大數據?