Ambari之安裝篇
親愛的同學們好
俺來孫來也
我們知道現在大數據越來越流行
但其學習的門檻卻很尷尬
阻礙著很多的分散式應用初學者或者大數據的業務應用開發者
多個產品之間的不兼容問題,快速集成和維護也顯得比較困難
不管是 Hadoop V1 或者 V2 的安裝,又或者 Spark/YARN 等的集成
都不是幾行簡單的命令可以完成的,而是需要手工修改很多的集群配置
這進一步增加了業務開發者的學習和使用難度。
有了愛姆鮑蕾,這些都不再是難題。
那麼愛姆鮑蕾(Ambari) 是什麼呢
其實Ambari 跟 Hadoop 等開源軟體一樣,也是 Apache Software Foundation 中的一個項目,並且是頂級項目。目前最新的發布版本是 2.0.1,未來不久將發布 2.1 版本。
就 Ambari 的作用來說,就是創建、管理、監視 Hadoop 的集群,但是這裡的 Hadoop 是廣義,指的是 Hadoop 整個生態圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而並不僅是特指 Hadoop。用一句話來說,Ambari 就是為了讓 Hadoop 以及相關的大數據軟體更容易使用的一個工具,簡而言之,就是Hadoop的好夥伴!
說到這裡,大家就應該明白什麼人最需要 Ambari 了。那些苦苦花費好幾天去安裝、調試 Hadoop 的初學者是最能體會到 Ambari 的方便之處的。而且,Ambari 現在所支持的平台組件也越來越多,例如流行的 Spark,Storm 等計算框架,以及資源調度平台 YARN 等,我們都能輕鬆地通過 Ambari 來進行部署。
Ambari 自身也是一個分散式架構的軟體,主要由兩部分組成:Ambari Server 和 Ambari Agent。簡單來說,用戶通過 Ambari Server 通知 Ambari Agent 安裝對應的軟體;Agent 會定時地發送各個機器每個軟體模塊的狀態給 Ambari Server,最終這些狀態信息會呈現在 Ambari 的 GUI,方便用戶了解到集群的各種狀態,並進行相應的維護。
敲黑板!敲黑板!接下來要講的是重頭戲了!
我們來看看怎麼安裝Ambari!
安裝準備
關於 Ambari 的安裝,目前網上能找到兩個發行版,一個是 Apache 的 Ambari,另一個是 Hortonworks 的,兩者區別不大。這裡就以 Apache 的 Ambari 2.0.1 作為示例。
俺老孫將使用三台 Redhat 6.6 作為安裝環境(目前測試驗證結果為 Ambari 在 Redhat 6.6 的版本上運行比較穩定),三台機器分別為 http://zwshen37.example.com、http://zwshen38.example.com、http://zwshen39.example.com。
zwshen37 計劃安裝為 Ambari 的 Server,另外兩台為 Ambari Agent。
安裝 Ambari 最方便的方式就是使用公共的庫源(public repository)。有興趣的同學可以自己研究一下搭建一個本地庫(local repository)進行安裝。這個不是重點,所以不在此贅述。在進行具體的安裝之前,需要做幾個準備工作。
準備工作SSH 的無密碼登錄;
Ambari 的 Server 會 SSH 到 Agent 的機器,拷貝並執行一些命令。因此我們需要配置 Ambari Server 到 Agent 的 SSH 無密碼登錄。在這個例子里,zwshen37 可以 SSH 無密碼登錄 zwshen38 和 zwshen39。確保 Yum 可以正常工作;
通過公共庫(public repository),安裝 Hadoop 這些軟體,背後其實就是應用 Yum 在安裝公共庫裡面的 rpm 包。所以這裡需要您的機器都能訪問 Internet。確保 home 目錄的寫許可權。
Ambari 會創建一些 OS 用戶。
確保機器的 Python 版本大於或等於 2.6.(Redhat6.6,默認就是 2.6 的)。
以上的準備工作完成後,便可以真正的開始安裝 Ambari 了。
1
首先需要獲取 Ambari 的公共庫文件(public repository)。登錄到 Linux 主機並執行下面的命令(也可以自己手工下載):
wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.1/ambari.repo
2
將下載的 ambari.repo 文件拷貝到 Linux 的系統目錄/etc/yum.repos.d/。拷貝完後,我們需要獲取該公共庫的所有的源文件列表。依次執行以下命令。
yum clean allyum list|grep ambari
如圖 1 所示:
圖 1. 獲取公共庫源文件列表
3
如果可以看到 Ambari 的對應版本的安裝包列表,說明公共庫已配置成功。然後就可以安裝 Ambari 的 package 了。執行下面的命令安裝 Ambari Server 到該
機器。
yum install ambari-server
4
待安裝完成後,便需要對 Ambari Server 做一個簡單的配置。執行下面的命令。
amari-server setup
在這個互動式的設置中,採用默認配置即可。Ambari 會使用 Postgres 資料庫,默認會安裝並使用 Oracle 的 JDK。默認設置了 Ambari GUI 的登錄用戶為 admin/admin。並且指定 Ambari Server 的運行用戶為 root。
簡單的 setup 配置完成後。就可以啟動 Ambari 了。運行下面的命令。
ambari-server start
5
當成功啟動 Ambari Server 之後,便可以從瀏覽器登錄,默認的埠為 8080。以我們設置的環境為例,在瀏覽器的地址欄輸入 http://zwshen37.example.com:8080,登錄密碼為 admin/admin。登入 Ambari 之後的頁面如下圖。
圖 2. Ambari 的 welcome 頁面至此,Ambari Server 就安裝完成了
今天我們就到這裡了!
且聽下回繼續愛姆鮑蕾的故事!
推薦閱讀:
※機器學習中關於偏差、方差和誤差的理解
※實現屬於自己的TensorFlow(三) - 反向傳播與梯度下降實現
※logistic regression 邏輯回歸
※【用Sklearn進行機器學習】第四篇 - 深入監督學習:隨機森林
※[學習筆記] CS229 Part XIII Reinforcement Learning and Control + AlphaGo