大數據集群搭建基本配置說明

大數據集群搭建基本配置說明

大數據集群的搭建,簡單給大家分享一下,首先是感謝科多大數據的余老師提供的寶貴資料,其次希望對近期需要搭建集群的小伙有所幫助,話不多說,先上圖

偽分布:只有一台主要用搭建偽分散式

準備三台,用於搭建集群

快照

克隆

克隆出來的主機,它們的主機名、ip、MAC地址都是一樣的。所以要進行一些基本配置

修改主機名、ip、mac地址(vm中進行修改)

mac地址

修改主機名和IP地址

主機名:hostnamectl

set-hostname keduox01

修改ip地址:

進入到

文件中修改:

讓網卡重啟:cd

/etc/init.d

./network restart

100要和自已做免密

100需要將自己的公鑰發送到101上

101拿到公鑰之後,需要創建.ssh目錄,所以在101上需要執行一次生成免密的文件

ssh-keygen

-t dsa -P -f ~/.ssh/id_dsa

在將發送過的公鑰加入直接的文件中

cat

/tmp/id_dsa.pub >> ~/.ssh/authorized_keys

第二種方法:ssh-copy-id

-i 192.168.200.102

讓三台主機可以通過主機名可以互相訪問

在/etc/hosts目錄下,將ip與主機名進行關聯配置,第一個關聯是一行。

可以一台一台的配置,建議使用scp的方式,將/etc/hosts的內容發送到其它2台主機

scp

/etc/hosts root@keduox03:/etc/hosts

推薦閱讀:

用於大數據處理高性能計算的4個實現步驟
第十章:HDFS的Shell操作
數據分析利器之hive優化十大原則
知識篇:新一代的數據處理平台Hadoop簡介
Apache kylin進階——Slow Query SQL改造篇

TAG:大數據 | Hadoop | 伺服器集群 |