《Spark数据分析:基于Python语言 》 —1.2.4 Spark程序的提交类型
【摘要】 本节书摘来自华章计算机《Spark数据分析:基于Python语言 》 一书中第1章,第1.2.4节,作者是[澳] 杰夫瑞·艾文(Jeffrey Aven) ,王道远 译。
1.2.4 Spark程序的提交类型
Spark程序可以交互式运行,也可以以批处理的方式运行,包括小型批和微型批。
1.交互式提交
Spark提供了Python和Scala语言的交互式编程shell。PySpark和Scala shell分别如图1.7和图1.8所示。
图1.7 PySpark shell
图1.8 Scala shell
Spark中还包含交互式的R shell和SQL shell。
2.非交互式/批式提交
非交互式应用程序可以通过spark-submit命令提交,如程序清单1.1所示。
程序清单1.1 使用spark-submit以非交互式的方式运行Spark应用程序
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)