怎樣在 intelliJ 中開發 spark 應用？

01-27

希望能具體講一下設置步驟

IntelliJ IDEA 13已經不需要事先sbt gen-idea了，直接打開源碼目錄，IntelliJ會自動識別SBT項目並導入。不過我一般還是習慣先sbt gen-idea一下。

用intelliJ 創建sbt項目，然後按照spark官網的sbt設置說明去搞

我搞出來了，使用sbt/sbtgen-idea 構建IDEA項目導入IntelliJ即可。

直接python吧 sublime

pyspark只比scala的慢30%

大部分人的應用一輩子都到不了需要區分這30%性能的地步

用IntelliJ建個Scala SBT項目，build.sbt中添加下Spark Core的依賴，然後開始寫代碼就行了。

編譯時，建議使用啟動zinc來提速編譯過程（typesafehub/zinc · GitHub）

編譯結束後打成JAR，用spark-submit提交任務就行。

新建一個sbt項目，在build.sbt文件里加入對spark的引用依賴就靠椅了。例如

name := "Simple Project"


version := "1.0"
scalaVersion := "2.10.4"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.0.0"

resolvers += "Akka Repository" at "http://repo.akka.io/releases/"

From: http://spark.apache.org/docs/latest/quick-start.html#standalone-applications

不是搞spark源碼閱讀的話，直接下載二進位吧，裡邊有spark-assembly-1.0.1-hadoop2.2.0.jar，添加lib，就可以歡快的寫spark應用了

感覺maven可能更方便一點，配置好maven文件，就可以寫Scala並且進行編譯了。

直接用maven導入，在profiles中選Hadoop2.x

Maven開發就可以

新建好scala項目，project structure 的lib里添加spark-assembly-1.4.0-hadoop2.6.0.jar，單機程序的話可以直接在IDE里run，多節點的時候反正我總是失敗，感覺應該是通信的問題，不過也好解決，寫好程序以後build artifact就行了，然後在$SPARK_HOME下submit提交就行

裝個scala插件，新建sbt項目，在build.sbt中引入指定版本的spark assembly的jar包就可以寫了。寫完後打成jar包放到集群上提交即可。