大數據技術六：Hadoop運行環境搭建

04-02

大數據技術六：Hadoop運行環境搭建

（作者：Memories）

虛擬機網路模式設置為NAT

重新啟動系統。

[root@hadoop101 ~]$ sync

[root@hadoop101 ~]$ reboot

克隆虛擬機

具體請查看我知乎大數據技術系列第四篇。

修改為靜態ip

1）在終端命令窗口中輸入

[root@hadoop101 /]#vim /etc/udev/rules.d/70-persistent-net.rules

進入如下頁面，刪除eth0該行；將eth1修改為eth0，同時複製物理ip地址

2）修改IP地址

[root@hadoop101 /]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

需要修改的內容有5項：

IPADDR=192.168.1.101

GATEWAY=192.168.1.2

ONBOOT=yes

BOOTPROTO=static

DNS1=192.168.1.2

（1）修改前

（2）修改後

：wq 保存退出

3）執行

[root@hadoop101 /]# service network restart

4）如果報錯，reboot，重啟虛擬機。

[root@hadoop101 /]# reboot

修改主機名

1）修改linux的hosts文件

（1）進入Linux系統查看本機的主機名。通過hostname命令查看

[root@hadoop100 ~]# hostname

hadoop100

（2）如果感覺此主機名不合適，我們可以進行修改。通過編輯/etc/sysconfig/network文件

#vi /etc/sysconfig/network

文件中內容

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME= hadoop101

注意：主機名稱不要有「_」下劃線

（3）打開此文件後，可以看到主機名。修改此主機名為我們想要修改的主機名hadoop101。

（4）保存退出。

（5）打開/etc/hosts

vim /etc/hosts

添加如下內容

192.168.1.100 hadoop100

192.168.1.101 hadoop101

192.168.1.102 hadoop102

192.168.1.103 hadoop103

192.168.1.104 hadoop104

（6）重啟設備，重啟後，查看主機名，已經修改成功

2）修改window7的hosts文件

（1）進入C:WindowsSystem32driversetc路徑

（2）打開hosts文件並添加如下內容

192.168.1.100 hadoop100

192.168.1.101 hadoop101

192.168.1.102 hadoop102

192.168.1.103 hadoop103

192.168.1.104 hadoop104

關閉防火牆
查看防火牆開機啟動狀態：chkconfig iptables --list
關閉防火牆：chkconfig iptables off

1）創建memories用戶

在root用戶裡面執行如下操作

[root@hadoop101 opt]# adduser memories

[root@hadoop101 opt]# passwd memories

更改用戶 memories 的密碼。

新的密碼：

無效的密碼：它沒有包含足夠的不同字元

無效的密碼：是迴文

重新輸入新的密碼：

passwd：所有的身份驗證令牌已經成功更新。

2）設置memories用戶具有root許可權

修改 /etc/sudoers 文件，找到下面一行，在root下面添加一行，如下所示：

[root@hadoop101 memories]# vi /etc/sudoers

## Allow root to run any commands anywhere

root ALL=(ALL) ALL

memories ALL=(ALL) ALL

修改完畢，現在可以用memories帳號登錄su memories，然後用命令 su - ，即可獲得root許可權進行操作。

3）在/opt目錄下創建文件夾

（1）在root用戶下創建module、software文件夾

[root@hadoop101 opt]# mkdir module

[root@hadoop101 opt]# mkdir software

（2）修改module、software文件夾的所有者

[root@hadoop101 opt]# chown memories:memories module

[root@hadoop101 opt]# chown memories:memories software

[root@hadoop101 opt]# ls -al

總用量 16

drwxr-xr-x. 6 root root 4096 4月 24 09:07 .

dr-xr-xr-x. 23 root root 4096 4月 24 08:52 ..

drwxr-xr-x. 4 memories memories 4096 4月 23 16:26 module

drwxr-xr-x. 2 memories memories 4096 4月 23 16:25 software

安裝JDK與hadoop
卸載現有JDK
查詢是否安裝java軟體

[memories@hadoop101 opt]$ rpm -qa|grep java

如果安裝的版本低於1.7，卸載該jdk：

[memories@hadoop101 opt]$ sudo rpm -e 軟體包

用文件傳輸工具將jdk、hadoop2.7.2.tar.gz導入到opt目錄下面的software文件夾下面。

在SecureCRT的hadoop101頁面中按住「Alt + p」即可打開SFTP頁面，就可以將文件拖拽到想存放的文件夾中。

在linux系統下的opt目錄中查看軟體包是否導入成功。

解壓jdk和hadoop到/opt/module目錄下。

[memories@hadoop101software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

Hadoop解壓如上

配置jdk環境變數

（1）先獲取jdk路徑：

[memories@hadoop101 jdk1.8.0_144]$ pwd

/opt/module/jdk1.8.0_144

（2）打開/etc/profile文件：

[memories@hadoop101 software]$ sudo vi /etc/profile

在profile文件末尾添加jdk路徑：

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

（3）保存後退出：

:wq

（4）讓修改後的文件生效：

[memories@hadoop101 jdk1.8.0_144]$ source /etc/profile

（5）測試jdk是否安裝成功：

[memories@hadoop101 jdk1.8.0_144]# java -version

java version "1.8.0_144"

注意：重啟（如果java -version可以用就不用重啟）

[memories@hadoop101 jdk1.8.0_144]$ sync

[memories@hadoop101 jdk1.8.0_144]$ sudo reboot

將hadoop添加到環境變數

1）獲取hadoop安裝路徑：

[memories@ hadoop101 hadoop-2.7.2]$ pwd

/opt/module/hadoop-2.7.2

（2）打開/etc/profile文件：

[memories@ hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile

在profie文件末尾添加jdk路徑：（shitf+g）

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存後退出：

:wq

（4）讓修改後的文件生效：

[memories@ hadoop101 hadoop-2.7.2]$ source /etc/profile

（5）測試是否安裝成功

[memories@hadoop102 ~]$ hadoop version

Hadoop 2.7.2

（6）重啟(如果hadoop命令不能用再重啟)：

[memories@ hadoop101 hadoop-2.7.2]$ sync

[memories@ hadoop101 hadoop-2.7.2]$ sudo reboot