Hadoop環境搭建筆記整理（七)——Hadoop集群環境搭建以及節點的增刪

誒從下一篇開始就要開始理論體系的整理，這一篇還是根據老師的思路來。嗯中途換老師簡直就是在胡鬧。簡述前面六節內容，老師想讓我們做一個基於Hive的分析省和市的Webtool。結果他還沒說清做什麼就換老師了。這個老師主要想讓我們做的是真實集群下的網站KPI分析工具，主要用到的技術呢是hdfs和MapReduce。廢話就到這裡，繼續複習。

一、話廢幾句偽集群和真實集群的區別

前面有一章專門講hadoop的偽集群搭建（真實集群不是個專業的辭彙，只是我拿來強調區別，人家就叫集群……不要混淆），後來搭集群環境的時候發現其實就是把一個配好的單節點hadoop進行克隆，將從節點上的私鑰文件發送到主節點，將主節點的公鑰文件發送到各從節點。配置各種文件然後分發給各從節點。然後在主節點上對hadoop集群進行控制。

需要注意的是hosts文件需要將三個節點的名字和相對應的ip寫進去。靜態網址最好設置一下，不然後來ip重新分配的時候你就需要改一次ip修改一次hosts文件。

hdfs-site.xml文件（這個文件和為分散式集群是不一樣的）

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hadoop/data/namenode</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hadoop/data/datanode</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>slave1:9001</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

</configuration>

其他幾個文件基本都是一樣的

另外一定要配好免密。

二、節點的增刪

1. 把原來的從節點機進行克隆，改主機名

2. 修改hosts文件，添加新的名字和ip。

3. 修改master節點的slave文件

4. jps啟動一下服務看看

5. SSH服務（生成一下私鑰）

註：網上有提到balance數據到新增節點上

命令是 hadoop balancer ，增加節點之前如果數據比較多可以使用

刪除就是一個逆過程，在這裡就不詳細說了。

三、補圖

1. 公鑰配置成功

2. 私鑰

3. 看到兩個活動的節點存在

4. 傳輸文件到其他節點的方法

推薦閱讀：