Spark编程环境搭建

Spark编程环境搭建

基于Intellij IDEA搭建Spark开发环境搭

基于Intellij IDEA搭建Spark开发环境搭——参考文档

● 参考文档http://spark.apache.org/docs/latest/programming-guide.html

● 操作步骤

a)创建maven 项目

b)引入依赖（Spark 依赖、打包插件等等）

基于Intellij IDEA搭建Spark开发环境—maven vs sbt

● 哪个熟悉用哪个

● Maven也可以构建scala项目

基于Intellij IDEA搭建Spark开发环境搭—maven构建scala项目

● 参考文档http://docs.scala-lang.org/tutorials/scala-with-maven.html

● 操作步骤

a)用maven构建scala项目(基于net.alchim31.maven:scala-archetype-simple)

b)pom.xml引入依赖(spark依赖、打包插件等等)

注意：scala与java版本的兼容性

开发第一个Spark程序

● 第一个Scala版本的spark程序

● 第一个Java版本的spark程序

运行自己开发第一个Spark程序

● Spark maven 项目打包

mvn package

● 提交Spark 集群运行

提交Scala版本的Wordcount

bin/spark-submit --class com.dajiangtai.test.MyWordCount ~/testspark/test-spark-1.0.SNAPSHOT.jar ~/testspark/words.txt ~/testspark/result

提交Java版本的Wordcount

bin/spark-submit --class com.dajiangtai.test.MyJavaWordCount ~/testspark/test-spark-1.0.SNAPSHOT.jar ~/testspark/words.txt ~/testspark/result1