Hadoop + Eclipse IDE
1 人贊了文章
圖片是我最近正在讀沒讀完的書，贊！
- 選擇Java版本，我的Hadoop集群是Linux環境的(已經在前面的帖子中介紹怎麼搭建和配置)，現在我想在Windows上使用Hadoop + Eclipse做開發，所以我這裡選擇的是Window版本的
2. 在Windows中選擇jdk-8u181-windows-x64.exe版本，並配置環境變數
- 【系統變數】中，變數名輸入：JAVA_HOME（比如路徑為：C:Program FilesJavajdk-9）
- 同樣是在【系統變數中】進入path變數的編輯，加上%JAVA_HOME%in; %JAVA_HOME%jrein;
- 變數名鍵入：Classpath，變數值鍵入.;%JAVA_HOME%libdt.jar; %JAVA_HOME%lib ools.jar;
- 試一下java和javac功能沒問題就可以開始下一步
3. 在Windows中下載並安裝Eclipse IDE for Java Develpers
4. 確認在Linux搭好的hadoop版本，然後安裝集成插件，切換到master節點
cd $HADOOP_HOME
hadoop version
確認我安裝的版本是：Hadoop 2.9.1
5. 下面我需要在Windows上直接用的是編譯過的hadoop-eclipse-plugin-2.6.0.jar，我看到有帖子指導怎麼編譯自己的plugin但是為了節省時間，我直接用了現成的，也可以參考以下帖子慢慢調試！
（我的hadoop版本是Hadoop 2.9.1，我試了一下，可以使用這個插件，但是以後會不會遇到問題，我現在還不確定）
https://github.com/winghc/hadoop2x-eclipse-plugin
winghc/hadoop2x-eclipse-plugin
winghc/hadoop2x-eclipse-plugin編譯Hadoop-eclipse-plugin插件 - ljy2013 - 博客園
6. 把hadoop-2.9.1.tar.gz下載到windows上，以管理員身份解壓縮2次，裡面的文件不用修改
7. 在Window上配置Hadoop環境變數，參考以下帖子，以免在Java開發過程中出現許可權問題
關於使用Hadoop MR的Eclipse插件開發時遇到Permission denied問題的解決辦法【轉】 - ≯尼莫≮ - 博客園HADOOP_HOME配置到系統變數中
HADOOP_USER_NAME (暫時先不配置看看會不會報錯)
%HADOOP_HOME%bin配置到PATH中
8. 然後把解壓縮的文件Hadoop路徑配置到Eclipse - window-perference-Hadoop Map/Reduce
9. 把hadoop-eclipse-plugin-2.6.0.jar放在所安裝的Eclipse目錄下的dropins文件下，在Perspective中選擇Map/Reduce然後確定，重啟Eclipse就能看到小象圖標。
10. 選擇Window - Perspective - Open Perspective - Other中，點擊Map/Reduce展開
11. 打開window-perference-Hadoop Map/Reduce，配置Hadoop 的安裝路徑
8.點擊小象圖標，添加配置集群，我首先在windows的hosts中把linux集群master和slave-1的IP地址配進去，從windows直接命令行ping master是可以ping通的，那麼這裡是可以填寫master的
下面要把Advanced parameters的文件夾全部換成linux的路徑
如果不小心關掉了Hadoop的工具欄，可以從以下方式打開
全部搞了幾次發現都沒法聯通，於是有了下一個帖子，就是代碼可以在windows上開發，但是不需要通過Windows來執行，直接還是拿到linux下面執行，不然中間有很多坑，對於剛學的我來說還沒法解決，所以直接跳過，進入下一個學習階段。
推薦閱讀：
※聊聊分散式系統的數據一致性
※大數據基礎教程—hadoop生態圈Hbase完全分散式的搭建
※Win10中搭建Hadoop環境
※HIVE入門第三章-優化
※大數據集群搭建基本配置說明