Spark交互式工具spark-shell
【摘要】 Spark交互式工具spark-shell
Spark交互式工具spark-shell
REPL
Read-Eval-Print-Loop，即交互式shell，以交互式方式来编程
Spark REPL
$SPARK_HOME/bin/spark-shell(scala)
$SPARK_HOME/bin/pyspark(python)
其他
Spark shell
Spark的scala REPL，支持使用scala语言来进行Spark的交互式编程
支持Spark的local，standalone，yarn client模式
启动./bin/spark-shell
内置实例化一个SparkContex对象，可以通过sc来调用
内置实例化一个SQLContext对象，可以使用sqlContext来调用查看帮助sc.\t
spark-shell运行在YARN上
登陆安装Spark那台机器
.bin/spark-shell --master yarn
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）