如何在windows安裝部署spark?


由於現在windows10已經是主流,下面就以win10為基礎介紹在windows上安裝Spark。

1 安裝Scala:從 http://downloads.lightbend.com/scala/2.11.8/scala2.11.8.msi下載Scala

1)設置環境變數:

i. 用戶變數

變數名稱:SCALA_HOME

變數值:C:Program Files(x86)scala

ii. 系統變數

變數名稱:PATH

變數值:C:Program Files(x86)scalain

2) 在cmd中測試是否安裝成功,在cmd中輸入scala,如果出現如下圖的內容,說明安裝成功

2 安裝java:從http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads- 2133151.html下載jdk8,下面同樣是設置環境變數

1)設置環境變數

i. 用戶變數

變數名稱:JAVA_HOME

變數值:C:Program FilesJavajdk18.0_91

ii. 系統變數

變數名稱:PATH

變數值:C:Program Filesjdk1.8.0_91in

2) 在cmd中檢測java環境是否安裝成功,如果如下圖則安裝成功

3 安裝Eclipse,從 https://eclipse.org/downloads/ 下載Eclipse,並解壓縮到硬碟,比如D:Eclipse。

1)設置環境變數

i. 用戶變數

變數名稱:Eclipse_HOME

變數值:C:eclipsein

ii. 系統變數

變數名稱:PATH

變數值:C:eclipsein

4 安裝Spark,從 http://spark.apache.org/downloads.html 下載Spark,並解壓縮到硬碟,比如D:Spark

1)設置環境變數

i. 用戶變數

變數名稱:Spark_HOME

變數值:D:sparkspark-1.6.1-bin-hadoop2.6

ii. 系統變數

變數名稱:PATH

變數值:D:sparkspark-1.6.1-bin-hadoop2.6in

5 安裝 utilities,從 https://github.com/steveloughran/winutils/tree/master/hadoop-2.6.0/bin下載包,並複製到spark bin目錄下

6 運行Spark,如果出現以下界面則說明安裝成功

7 安裝Maven,從http://apache.mivzakim.net/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.zip 下載Apach-Maven-3.3.9, 並解壓縮到D:apache-maven-3.3.9

1)設置環境變數

i. 用戶變數

變數名稱:MAVEN_HOME

變數值:D:apache-maven-3.3.9

ii. 系統變數

變數名稱:PATH

變數值:D:apache-maven-3.3.9in

2)檢測maven是否安裝成功,在cmd中輸入mvn如果出現以下界面則說明安裝成功

如果上面的安裝過程沒有問題,那spark環境就安裝成功了


推薦閱讀:

Spark之BloomFilter有趣的bitwise運算
代碼生成技術初探(一)表達式編譯
三分鐘分散式CAP理論就這麼複雜
Kmeans(spark-mllib2.2.0最新源碼解析)
Scala開發Apache Kafka的TOP20大好用實踐

TAG:Windows | Spark | 互聯網 | 科技 |