淺談:Hadoop、spark、SaaS、PaaS、IaaS、雲計算

Hadoop & Spark

首先二者均不是屬於產品類別,理解為生態系統或者也有人將其稱為「大數據通用處理平台」也是可以的,這種稱呼也更為準確

Hadoop是由Apache基金會所開發的分散式系統基礎架構

Hadoop主要包括:

Hadoop分散式文件系統:一個分散式的、面向塊的、不可更新的、高度伸縮性的、可運行在集群中普通硬碟上的文件系統

MapReduce框架:一個基本的在集群中一組標準硬體上執行的分散式計算框架

YARN :Hadoop生態集群中默認的資源管理器

Hive :構建在MapReduce框架之上的類SQL查詢引擎

Hbase:基於HDFS的鍵值對存儲系統為Hadoop提供了聯機事務處理(OLTP)能力

圖片參自:中國大數據

Spark而言是專為大規模數據處理而設計的快速通用的計算引擎,實際上現階段其還不夠成熟

Spark主要包括:

Spark Core :用於通用分散式數據處理的引擎

Spark Sql :運行在Spark上的SQL查詢語句支持一系列SQL函數和HiveQL

Spark Streaming:基於spark的微批處理引擎

MLlib:構建在spark之上的機器學習庫

圖片參自:中國大數據

三劍客:IaaS 、PaaS、SaaS

其實就是雲計算的三類分層服務:

基礎設施在最下端:Infrastructure-as-a-Service(IaaS)

平台在中間:Platform-as-a-Service(PaaS)

軟體在頂端:Software-as-a-Service(SaaS)

IaaS :Infrastructure as a Service

基礎設施即服務

把計算基礎(伺服器、網路技術、存儲和數據中心空間)作為一項服務提供給客戶。它也包括提供操作系統和虛擬化技術、來管理資源。消費者通過Internet可以從完善的計算機基礎設施獲得服務。

PaaS:Platform as a Service

平台即服務

PaaS實際上是指將軟體研發的平台作為一種服務,供應商提供超過基礎設施的服務,一個作為軟體開發和運行環境的整套解決方案,即以SaaS的模式提交給用戶。因此,PaaS也是SaaS模式的一種應用。但是,PaaS的出現可以加快SaaS的發展,尤其是加快SaaS應用的開發速度。

SaaS:Software as a Service

軟體即服務

是一種交付模式,其中應用作為一項服務託管,通過Internet提供給用戶;幫助客戶更好地管理它們的IT項目和服務、確保它們IT應用的質量和性能,監控它們的在線業務。

雲計算:Cloud Computing

當需要的時候,扭開水龍頭,水就來了,我只需要操心交水費就是了!

當你需要用一個軟體時,你不用跑去電腦城,打開應用商店,它就下載下來了,你只需要交錢就是了;

當你想看報紙的時候,你不用跑去報刊亭,只要打開頭條新聞,新聞唾手可得;

當你想看書的時候,你不用跑去書城,只需要打開閱讀軟體,找到這樣的一本書,在手機上閱讀;

當你想聽音樂的時候,你不用再跑去音像店苦苦找尋CD光碟,打開音樂軟體,就能聆聽音樂;

雲計算像在每個不同地區開設不同的自來水公司,沒有地域限制,優秀的雲軟體服務商,向世界每個角落提供軟體服務——就像天空上的雲一樣,不論你身處何方,只要你抬頭,就能看見!

「雲計算」的五大特點:

1.大規模、分散式 2.虛擬化 3.高可用性和擴展性 4.按需服務,更加經濟 5.安全

「雲計算」已經深深植入到我們生活中的點點滴滴, 平時常用的那些APP或網站, 基本都離不開「雲計算」作為背後的強大服務和技術支持。 如剁手黨愛恨交加的淘寶、京東, 社交痴迷黨的微信、微博、快手、秒拍、抖音等等! 於此同時, 越來越多的企業機構乃至政務部門, 開始使用基於雲的平台服務, 生活因「雲計算」正在發生著革命性的變革和改變!

推薦閱讀:

答讀者問:網吧怎麼用MATLAB?
網格計算失敗了,取而代之的是雲計算,這種說法合理嗎?
如何系統地學習 Docker?
Google Drive 支持增量同步嗎?國內使用速度如何?
安全觀點|等到風景看透,是誰陪你細水長流

TAG:云计算 | SaaS | Hadoop |