如何在windows安裝部署spark?
由於現在windows10已經是主流,下面就以win10為基礎介紹在windows上安裝Spark。
1 安裝Scala:從 http://downloads.lightbend.com/scala/2.11.8/scala2.11.8.msi下載Scala
1)設置環境變數:
i. 用戶變數
變數名稱:SCALA_HOME
變數值:C:Program Files(x86)scala
ii. 系統變數
變數名稱:PATH
變數值:C:Program Files(x86)scalain
2) 在cmd中測試是否安裝成功,在cmd中輸入scala,如果出現如下圖的內容,說明安裝成功
2 安裝java:從http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads- 2133151.html下載jdk8,下面同樣是設置環境變數
1)設置環境變數
i. 用戶變數
變數名稱:JAVA_HOME
變數值:C:Program FilesJavajdk18.0_91
ii. 系統變數
變數名稱:PATH
變數值:C:Program Filesjdk1.8.0_91in
2) 在cmd中檢測java環境是否安裝成功,如果如下圖則安裝成功
3 安裝Eclipse,從 https://eclipse.org/downloads/ 下載Eclipse,並解壓縮到硬碟,比如D:Eclipse。
1)設置環境變數
i. 用戶變數
變數名稱:Eclipse_HOME
變數值:C:eclipsein
ii. 系統變數
變數名稱:PATH
變數值:C:eclipsein
4 安裝Spark,從 http://spark.apache.org/downloads.html 下載Spark,並解壓縮到硬碟,比如D:Spark
1)設置環境變數
i. 用戶變數
變數名稱:Spark_HOME
變數值:D:sparkspark-1.6.1-bin-hadoop2.6
ii. 系統變數
變數名稱:PATH
變數值:D:sparkspark-1.6.1-bin-hadoop2.6in
5 安裝 utilities,從 https://github.com/steveloughran/winutils/tree/master/hadoop-2.6.0/bin下載包,並複製到spark bin目錄下
6 運行Spark,如果出現以下界面則說明安裝成功
7 安裝Maven,從http://apache.mivzakim.net/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.zip 下載Apach-Maven-3.3.9, 並解壓縮到D:apache-maven-3.3.9
1)設置環境變數
i. 用戶變數
變數名稱:MAVEN_HOME
變數值:D:apache-maven-3.3.9
ii. 系統變數
變數名稱:PATH
變數值:D:apache-maven-3.3.9in
2)檢測maven是否安裝成功,在cmd中輸入mvn如果出現以下界面則說明安裝成功
如果上面的安裝過程沒有問題,那spark環境就安裝成功了
推薦閱讀:
※Spark之BloomFilter有趣的bitwise運算
※代碼生成技術初探(一)表達式編譯
※三分鐘分散式CAP理論就這麼複雜
※Kmeans(spark-mllib2.2.0最新源碼解析)
※Scala開發Apache Kafka的TOP20大好用實踐