大數據集群搭建基本配置說明
05-28
大數據集群搭建基本配置說明
大數據集群的搭建,簡單給大家分享一下,首先是感謝科多大數據的余老師提供的寶貴資料,其次希望對近期需要搭建集群的小伙有所幫助,話不多說,先上圖
偽分布:只有一台主要用搭建偽分散式
準備三台,用於搭建集群
快照
克隆
克隆出來的主機,它們的主機名、ip、MAC地址都是一樣的。所以要進行一些基本配置
修改主機名、ip、mac地址(vm中進行修改)
mac地址
修改主機名和IP地址
主機名:hostnamectl
set-hostname keduox01修改ip地址:
進入到
文件中修改:
讓網卡重啟:cd
/etc/init.d./network restart
100要和自已做免密
100需要將自己的公鑰發送到101上
101拿到公鑰之後,需要創建.ssh目錄,所以在101上需要執行一次生成免密的文件
ssh-keygen
-t dsa -P -f ~/.ssh/id_dsa在將發送過的公鑰加入直接的文件中
cat
/tmp/id_dsa.pub >> ~/.ssh/authorized_keys第二種方法:ssh-copy-id
-i 192.168.200.102讓三台主機可以通過主機名可以互相訪問
在/etc/hosts目錄下,將ip與主機名進行關聯配置,第一個關聯是一行。
可以一台一台的配置,建議使用scp的方式,將/etc/hosts的內容發送到其它2台主機
scp
/etc/hosts root@keduox03:/etc/hosts推薦閱讀:
※用於大數據處理高性能計算的4個實現步驟
※第十章:HDFS的Shell操作
※數據分析利器之hive優化十大原則
※知識篇:新一代的數據處理平台Hadoop簡介
※Apache kylin進階——Slow Query SQL改造篇