搭建Spark集群詳細教程（3）

構建Spark集群（3）

構建spark集群經典4部曲：

1.搭建hadoop單機和偽分散式環境 2.構造分散式hadoop集群 3.構造分散式spark集群 4.測試spark集群

第三步 構造分散式spark集群

3.1安裝scala

3.2安裝spark2.2.0並進行配置

1.下載安裝包

2.在master節點上創建文件夾，並將安裝包解壓到裡面

mkdir /usr/local/sparktar xzf spark-2.2.0-bin-hadoop2.7.tgzmv spark-2.2.0-bin-hadoop2.7 /usr/local/spark/

3.配置~/.bashrc和/etc/profile（應該是配置後面一個就可以）

設置SPARK_HOME，並把spark的bin目錄加入到path中，配置完成後，使用source命令使配置生效。 配置/etc/profile,設置SPARK_HOME,並把spark的bin目錄加入到path中。與上面相同

# set spark pathexport SPARK_HOME=/data/app/spark-2.2.0-bin-hadoop2.7export PATH=$PATH:$SPARK_HOME/bin

4.修改slave配置文件

使用cp命令備份原slaves.template配置文件， cp slaves.template slaves 然後配置slaves.vim slaves,將localhost修改為：

MasterSlave1Slave2

5.修改spark-env.sh配置文件

使用cp命令備份原spark-env.sh.template配置文件， cp spark-env.sh.template spark-env.sh 然後配置spark-env.sh。vim spark-env.sh，添加如下內容：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64?export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.6?export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.7.6/etc/hadoop?export YARN_CONF_DIR=/usr/local/hadoop/hadoop-2.7.6/etc/hadoop?export SPARK_MASTER_HOST=Master?export SPARK_MASTER_IP=Master?export SPARK_WORK_MEMORY=2g?export SPARK_HOME=/usr/local/spark/spark-2.2.0-bin-hadoop2.7?export PATH=$SPARK_HOME/bin:$PATHexport SCALA_HOME=/usr/share/scala-2.11/bin/scala

然後用source spark-env.sh命令，使配置生效 注Slave1和Slave2的配置與Master的配置一樣。

6.啟動spark分散式集群，並查看信息

（1）啟動hadoop集群 在Master節點上啟動hadoop集群

在Slave1和Slave2中通過jps命令查看

（2）啟動Spark集群 在Hadoop集群成功啟動的基礎上，啟動Spark集群需要使用Spark的sbin目錄下「start-all.sh」： 可以看到，在Master機器上，多了Master和Worker進程

在slave1和Slave2節點上，多了worker進程

可以在spark集群的web頁面查看：

可以看到有3個工作節點，和這些節點的信息。

此時，我們進入Spark的bin目錄，使用「spark-shell」控制台： 有報錯信息：

網傳錯誤原因是：spark預先編譯的hadoop版本為32位的，放在64位的機器上執行會報這個錯誤。 解決方法 在spark-env.sh文件中加入LD_LIBRARY_PATH環境變數LD_LIBRARY_PATH=$HADOOP_HOME/lib/native 重新啟動spark，hadoop的問題沒有了，但是後面幾個警告依然存在，應該是資料庫的問題。