大數據實驗手冊怎麼自己搭環境？

01-21

http://product.m.dangdang.com/1270002491.html?t=1514868587

大數據集群實驗環境搭建

一、1.x環境搭建

1、虛擬機、安裝jdk

2、免密碼設定：

（1）生成自己的公鑰和私鑰。

ssh-keygen -t -rsa

（2）將自己的私鑰拷貝到需要免密碼的伺服器的.ssh目錄下，重新命名為authorized_keys。

scp ./id_rsa.pub rowen@192.168.128.133:/home/rowen/.ssh/authorized_keys

假如有多台機器都需要對h1進行免密碼，則需要將多台機器的公鑰都拷貝到h1中的authorized_keys文件中。

3、下載hadoop1.x

4、修改配置文件

（1）conf/hadoop-env.sh

修改java_home /home/rowen/soft/jdk1.7.0_80

（2）core-site.xml

&fs.default.name&

&hdfs://backup01:9000&

&hadoop.tmp.dir&

&/home/rowen/soft/hadoop-1.1.2/tmp&

(3)hdfs-site.xml

&dfs.replication&

&1&

(4)mapred-site.xml

&mapred.job.tracker&

&backup01:9001&

(5)masters

backup01

(6)slaves

backup02

5、換root 改/etc/hosts

192.168.128.131 backup01

192.168.128.133 backup02

6、將配置複製給其他節點

scp -r ./hadoop-1.1.2 rowen@192.168.128.133:/home/rowen/soft

7、修改其他節點host文件和（5）一致

8、格式化名稱節點

bin/hadoop namenode -format

9、啟動hadoop：./bin/start-all.sh

名稱節點：

NameNode

SecondaryNameNode

JobTracker

數據節點：

TaskTracker

DataNode

證明啟動成功！

二、2.x安裝

2.x和1.x最大的區別是配置文件的不同。

1、下載2.2.0

2、配置

（1）core-site.xml

&fs.defaultFS&

&hdfs://h1:9000&

&io.file.buffer.size&

&131072&

&hadoop.tmp.dir&

&file:/home/rowen/Downloads/hadoop-2.2.0/tmp&

&Abase for other temporary directories.&

&hadoop.proxyuser.hduser.hosts&

&*&

&hadoop.proxyuser.hduser.groups&

&*&

(2)hdfs.site.xml

&dfs.namenode.secondary.http-address&

&h1:9001&

&dfs.namenode.name.dir&

&file:/home/rowen/Downloads/hadoop-2.2.0/name&

&dfs.datanode.data.dir&

&file:/home/rowen/Downloads/hadoop-2.2.0/data&

&dfs.replication&

&1&

&dfs.webhdfs.enabled&

&true&

(3) mapred-site.xml

&mapreduce.framework.name&

&yarn&

&mapreduce.jobhistory.address&

&h1:10020&

&mapreduce.jobhistory.webapp.address&

&h1:19888&

(4)yarn-site.xml

&yarn.nodemanager.aux-services&

&mapreduce_shuffle&

&yarn.nodemanager.aux-services.mapreduce.shuffle.class&

&org.apache.hadoop.mapred.ShuffleHandler&

&yarn.resourcemanager.address&

&h1:8032&

&yarn.resourcemanager.scheduler.address&

&h1:8030&

&yarn.resourcemanager.resource-tracker.address&

&h1:8031&

&yarn.resourcemanager.admin.address&

&h1:8033&

&yarn.resourcemanager.webapp.address&

&h1:8088&

3、64位操作系統解決辦法

2.x的hadoop下，native裡面的包都是32位的，如果操作系統是32位的，經過以上配置，都能啟動成功。如果是操作系統是64位的，就需要自己編譯hadoop或者從網上下載別人已經編譯好的native，並替換。

網站後台環境嗎？

Hadoop環境搭建：【Hadoop】搭建完全分散式的hadoop - 大牛筆記 - 博客園

4G內存也可以，8G以上最好：hadoop學習之hadoop完全分散式集群安裝 - CSDN博客
ubuntu 16.04無法安裝busybox-initramfs的解決方法,先裝英文版，裝英文版也失敗了(成功的一次：裝英文版需要重啟電腦，從光碟引導，重新操作一遍，需要重新格盤)