離線安裝CDH5.10.0@Ubuntu14.04——第二章（使用CM）

第二章——使用CM

• CDH版本衍化

Cloudera公司把Apache hadoop開源項目商業化，開發出了Cloudera Manager及CDH等一套相關的hadoop生態系統。hadoop是一個開源項目，所以很多公司在這個基礎進行商業化，Cloudera對hadoop做了相應的改變。Cloudera公司的發行版，我們將該版本稱為CDH（Cloudera Distribution Hadoop）。截至目前為止，CDH共有5個版本，其中，前兩個已經不再更新，最近的兩個，分別是CDH4在Apache Hadoop 2.0.0版本基礎上演化而來的），CDH5，它們每隔一段時間便會更新一次。

• CDH5.10.0新特性

1、hbase

1）已添加複製調試功能。

2）G1垃圾收集性能得到提高。

2、hive

1）自動配置所有組件的S3的Hue連接。

3、Impala

1）通過減少TCP / IP超時的可能性，提高高並發負載的可擴展性。配置設置accepted_cnxn_queue_depth可以向上調整，以避免大型集群上出現此類超時。

4、oozie

1）OOZIE-2225除了過濾器參數名稱，用戶，組，狀態，頻率和單位之外，Oozie現在支持與部分名稱，部分用戶或完整ID匹配的通配符參數。

5、Cloudera搜索

1）solrctl命令可以使用--debug或--trace參數在調試模式下運行。

6、yarn方面

1）在YARN動態資源池中為每個用戶公開maxResources。

2）UX改進。

2.1、開啟CM

master相關命令：

1. /opt/cloudera-manager/cm-5.10.0/etc/init.d/cloudera-scm-server start

2. /opt/cloudera-manager/cm-5.10.0/etc/init.d/cloudera-scm-agent start

3. curl -i 10.0.0.200:7180/cmf/login

slave相關命令：

1. /opt/cloudera-manager/cm-5.10.0/etc/init.d/cloudera-scm-agent start

2.2、使用web登錄

1）打開瀏覽器輸入"10.0.0.200:7180/cmf/login"，賬號密碼默認為"admin"

2）選擇版本

3）指定主機

4）選擇使用本地Parcel

5）自動分配

注意：Cloudera 建議將 /proc/sys/vm/swappiness 設置為 10。當前設置為 60。使用 sysctl 命令在運行時更改該設置並編輯 /etc/sysctl.conf 以在重啟後保存該設置。

解決：echo 10 > /proc/sys/vm/swappiness

6）安裝CDH5服務

這裡作為演示選擇「核心hadoop」

自動部署完畢後，有挺多報警，大概查看下基本都是內存或者存儲空間使用閾值的報警，由於我們是本地虛擬機的，所以這些條件都有限，這裡暫時不管這些報警了，後續工作自行處理。