哪位大神知道從安裝hadoop2.7.1到配置文件的所有正確流程啊？

01-15

如何安裝hadoop2.7.1
如何配置hadoop2.7.1的環境和文件

我都是裝的cloudera 的cdh，安裝很方便。時間放在怎麼把它玩轉不是更好。

需要技能：Linux shell 基本操作

Hadoop hdfs 基本操作

（網上文檔很多）

需要文件：VMvare

Hadoop2.1以上包

（官網都可以下）

FTP工具

JDK

Linux

開始配置：

1：.準備Linux環境

1.0點擊VMware快捷方式，右鍵打開文件所在位置 -&> 雙擊vmnetcfg.exe -&> VMnet1 host-only -&>修改subnet ip 設置網段：192.168.1.0 子網掩碼：255.255.255.0 -&> apply -&> ok

回到windows --&> 打開網路和共享中心 -&> 更改適配器設置 -&> 右鍵VMnet1 -&> 屬性 -&> 雙擊IPv4 -&> 設置windows的IP：192.168.1.100 子網掩碼：255.255.255.0 -&> 點擊確定

在虛擬軟體上 --My Computer -&> 選中虛擬機 -&> 右鍵 -&> settings -&> 192network adapter -&> host only -&> ok

1.1修改主機名

vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=itcast

1.2修改IP

通過Linux圖形界面進行修改

進入Linux圖形界面 -&> 右鍵點擊右上方的兩個小電腦 -&> 點擊Edit connections -&> 選中當前網路System eth0 -&> 點擊edit按鈕 -&> 選擇IPv4 -&> method選擇為manual -&> 點擊add按鈕 -&> 添加IP：192.168.1.101 子網掩碼：255.255.255.0 網關：192.168.1.1 -&> apply

1.3修改主機名和IP的映射關係

vim /etc/hosts

192.168.1.101 yourhostname

1.4關閉防火牆

#查看防火牆狀態

service iptables status

#關閉防火牆

service iptables stop

#查看防火牆開機啟et動狀態

chkconfig iptables --list

#關閉防火牆開機啟動

chkconfig iptables off

1.5重啟Linux

reboot

#####################################################################

2.安裝JDK

2.1上傳alt+p 後出現sftp窗口，然後put d:xxxyylljdk-7u_65-i585.tar.gz

//在主機crt中，聯192.168.1.101

2.2解壓jdk

#創建文件夾

mkdir /home/hadoop/app

#解壓

tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app

#解壓的時候注意是路徑要在[root@itcast~]下

2.3將java添加到環境變數中

#在文件最後添加 #注意添加的jdk路徑

export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585

export PATH=$PATH:$JAVA_HOME/bin

#刷新配置

source /etc/profile

#[root@itcast app] ls 看一下是否成功

####################################################################

3.安裝hadoop2.4.1

#同上jdk 上傳解壓#

先上傳hadoop的安裝包到伺服器上去/home/hadoop/

注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop

偽分散式需要修改5個配置文件

3.1配置hadoop

# 進入 hadoop2.4.1 的etc中的 hadoop

第一個：hadoop-env.sh

vim hadoop-env.sh：

#第27行

export JAVA_HOME=/usr/java/jdk1.7.0_65

第二個：core-site.xml

&fs.defaultFS&

&hdfs://weekend-1206-01:9000&

&hadoop.tmp.dir&

&/home/hadoop/app/hadoop-2.4.1/tmp&

第三個：hdfs-site.xml hdfs-default.xml (3)

&dfs.replication&

&1&

第四個：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

&mapreduce.framework.name&

&yarn&

第五個：yarn-site.xml

&yarn.resourcemanager.hostname&

&weekend-1206-01&

&yarn.nodemanager.aux-services&

&mapreduce_shuffle&

3.2將hadoop添加到環境變數

hadoop2.4.1下的bin下設置

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_65

export HADOOP_HOME=/itcast/hadoop-2.4.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:

#export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin::$HADOOP_HOME/bin

############################若無效可改用按以下式#################################

#vi /etc/profile或者vi ~/.bash_profile

　　　　export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

　　　　export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

然後用source重新編譯使之生效即可！

　　#source /etc/profile或者source ~/.bash_profile 贊

################################################################################

$HADOOP_HOME/sbin

source /etc/profile

3.3格式化namenode（是對namenode進行初始化）

###########每次重啟集群必須先格式化#########

hdfs namenode -format (hadoop namenode -format)

3.4啟動hadoop

先啟動HDFS

sbin/start-dfs.sh

再啟動YARN

sbin/start-yarn.sh

3.5驗證是否啟動成功

使用jps命令驗證

27408 NameNode

28218 Jps

27643 SecondaryNameNode

28066 NodeManager

27803 ResourceManager

27512 DataNode

#缺一不可#

http://192.168.1.101:50070 （HDFS管理界面）

http://192.168.1.101:8088 （MR管理界面）

##########################OK！~ 配置成功了######################################

ＰＳ：以上答案由答主通過網上資源整理，侵刪。

咳，谷歌啊，谷歌上不去想辦法啊，……，另，一定選一個好安裝的Linux版本，我是在Ububtu 14.04 64位版上安裝的Hadoop 2.7.1。手機上沒存連接，先Mark一下，回家補答案，……

分隔線

------------------------------------------------------------------------------------------------------------------

20150907

前人已種樹，我們好乘涼！

【1】Hadoop安裝教程_單機/偽分散式配置_Hadoop2.6.0/Ubuntu14.04

http://www.powerxing.com/install-hadoop/

【2】Hadoop集群安裝配置教程_Hadoop2.6.0/Ubuntu 14.04

http://www.powerxing.com/install-hadoop-cluster/

樓主按照上面兩個帖子，一步步安裝即可。

個人推薦

1）官方文檔+加老外的文章（遇問題時）

2）如果單純裝裝想看hadoop長什麼樣子和簡單使用，建議去找安裝好鏡像文件，直接跑在虛擬機上，立馬能用

3）cloudera的部署工具安裝，嚮導級，很容易部署成功

4）看相關文章（hadoop，hive，hbase，snoop等）看精華文章，關注下我的技術社區，個人描述里有

百度一下輕輕鬆鬆解決啊

事實上，英文的官方文檔寫的非常清楚。雖然我裝的時候也遇到好多坑,但回頭看看都是自己傻，文檔還是好文檔。

以上。