知識布局-大數據apache基礎組件安裝文檔

前言

最近寫了一個文檔，這裡放置一下具體的目錄。

目錄

1.部署準備

......1.1.修改主機名和hosts對應關係

......1.2 ntpd時間服務

............1.2.1.安裝ntp服務

............1.2.2.配置ntp服務端和客戶端

............1.2.2.啟動ntp

......1.3.ssh

............1.3.1.在A機下生成公鑰/私鑰對

............1.3.2.把A機下的id_rsa.pub複製到B機下

............1.3.3.B機把從A機複製的id_rsa.pub添加到.ssh/authorzied_keys文件里

............1.3.4.A機登錄B機

............1.3.5.需要配置ssh免密碼登陸的機器

......1.4.java環境

......1.5.文件句柄信息配置

2.zookeeper部署

......2.1.profile配置

......2.2.配置conf目錄下zoo.cfg文件

......2.3.配置myid文件

......2.4.配置zkEnv.sh

......2.5.自定義zk的日誌輸出

......2.6.啟動zookeeper

3.hadoop部署

......3.1.linux相應的配置文件

............3.1.1.profile配置

......3.2.hadoop相應配置文件

............3.2.1.hdfs-site.xml

............3.2.2.hadoop-env.sh

............3.2.3.slaves

............3.2.4.yarn-site.xml

............3.2.5.maped-env.sh

............3.2.6.yarn-env.sh

............3.2.7.core-site.xml

............3.2.8.mapred-site.xml

......3.3.hadoop啟動步驟

............3.3.1.啟動Zookeeper集群

............3.3.2.格式化Zookeeper集群

............3.3.3.啟動Journal集群

............3.3.4.格式化集群上的一個NameNode

............3.3.5.啟動集群中步驟4中的NameNode

............3.3.6.把NameNode的數據同步到另一個NameNode上

............3.3.7.啟動另個一NameNode在datanode01上執行

............3.3.8.啟動所有的DataNode

............3.3.9.啟動zookeeper選舉進程

............3.3.10.確認是否部署成功

4.hbase部署

......4.1. linux相應的配置文件

............4.1.1.profile配置

......4.2.hbase相應配置文件

............4.2.1.hbase-env.sh 配置

............4.2.2.hbase-site.xml配置

............4.2.3.regionservers

......4.3.hbase啟動命令

............4.3.1.創建軟連接

............4.3.2.啟動hbase

............4.3.3.檢查hbase是否搭建完成

5.spark部署

......5.1.安裝scala

......5.2.profile配置

......5.3.spark配置

............5.3.1.配置spark-env.sh

............5.3.2配置spark-defaults.conf

............5.3.3.slave節點配置

......5.4.啟動集群

6. kafka部署

......6.1.linux相應的配置文件

............6.1.1.profile配置

......6.2.kafka配置

......6.3.啟動kafka

推薦閱讀：