Hadoop2.7.3完全分散式搭建 配置參數設置

國賽前夕，寫文章加順便背Hadoop2.7.3完全分散式搭建配置參數，希望能好運。

所有的東西都是經過實測的，乾貨開始： 完全分散式一共需配置6個文件。分別是：hadoop-env.sh,core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml,slaves。

首先搭建完全分散式hadoop和偽分散式hadoop的區別是兩台虛擬機節點間一定要達到以下幾個要求。

1. 互ping的通

2. 修改過/etc/hosts文件，進行ip映射

3. 修改過/etc/hostname文件，並且sudo hostname xxxxx 修改主機名。

4. master節點可以免密登錄slave節點

那麼首先先說明本機的hadoop的安裝為：/home/master/hadoop jdk安裝路徑為：/home/master/jdk 主機名為：master和slave

那麼開始，hadoop-env.sh中需要把

export JAVA_HOME=${JAVA_HOME}

替換成

export JAVA_HOME=/真實的jdk路徑

core-site.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://你的主機名:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/master/hadoop/tmp</value> </property></configuration>

hdfs-site.xml

<configuration> <proerty> <name>dfs.replication</name> <value>1</value> </proerty></configuration>

yarn-site.xml

<configuration> <proerty> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </proerty> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property></configuration>

mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>

slaves

slave

隨後執行hdfs namenode -format進行hdfs初始格式化，再執行sbin/start-all.sh啟動集群，用jps命令查看進程數是否正確。

個人博客

更多前端技術文章、美術設計、wordpress插件、優化教程、學習筆記盡在我的個人博客喵容 - 和你一起描繪生活，歡迎一起交流學習，一起進步：http://panmiaorong.top

站內文章推薦：

「2018年前端面試知識點」最新匯總

超級好用的開發工具，程序員實用工具整理

hive-2.1.1完全分散式搭建

spark完全分散式 如何搭建和使用spark完全分散式

vue中Axios的封裝和API介面的管理

原文鏈接：