有50台普通PC,能不能用虛擬化/雲計算技術把他們整合成一個整體,相當於一台高性能計算機,來執行數據密集性計算任務(處理衛星數據)?如果可以的話,具體有哪些技術/軟體可以考慮?


用這種「利舊」或是用低端集群的方式來實現HPC的方法,個人認為是比較愚蠢的。

體現在以下幾點:

前提,50台低端PC,如果能和5台server的運算相比的話……

1、功耗。那他們的功耗一定會大於5台server。

2、運維成本。佔用機房空間,製冷,以及出問題的概率。這個就不用細說了吧?

3、實施成本。實現集群性HPC的軟體以及設計成本都是很高昂的,通常是以節點來計算。大家往往是將最高端的設備集群起來實現,以減少設計實施成本的。你現在5台能辦的事情,交給50台來辦,有沒有想過設計和實施的成本?


具體問題具體分析:

1. Hadoop/MapReduce, 便于海量數據但數據空間相關性不大的情形,這樣可以利用MapReduce的局部計算然後匯總,比如百度對用戶搜索的統計和每個關鍵詞page rank的重新計算。

2. MPI/PVM, 便於局部之間需要不斷交互中間計算結果的情形。

3, 網格計算,便於易於拆分成很多小計算任務的情形,比如暴力破解zip密碼。


個人理解,如果是要執行一個大的複雜問題,應該是套用網格計算的概念而非雲計算的概念。拆分成若干子問題,通過多個節點對子問題進行計算。當然,如果你的數據室非關係型的,且無關聯,Hadoop就是一個現成的解決方案。


最近在學習集群存儲、雲計算,但是以我對集群的理解,它似乎只能用於負載均衡,加快IO訪問,和高可用性,分散式存儲,並不能在原有的Cpu上集合成一個加強版CPU實現為一個超級計算機


分散式網格運算,採用sungrid是比較好的方式


難點不在軟體,我認為還是在網路和存儲,那個才是燒錢的地方。

具體到你這個問題,網格計算就能實現,不需要你說的雲計算。


不知道MapReduce能不能幫上忙


普通PC啊,不是Server的話,真的不推薦搞集群和高速計算,設備本身的匯流排有限制,而且可靠性方面比Server還是差了很多,不建議啊~


這個是網格式計算就可以解決,不需要雲計算


有很多,MPI,beowulf,都是高性能計算集群的解決方案。


推薦閱讀:

TAG:雲計算 | 虛擬化 | 集群 | 網格計算 |