《Spark数据分析:基于Python语言 》 —3.4.3 回顾本地模式
【摘要】 本节书摘来自华章计算机《Spark数据分析:基于Python语言 》 一书中第3章,第3.4.3节,作者是[澳] 杰夫瑞·艾文(Jeffrey Aven) ,王道远 译。
3.4.3 回顾本地模式
在本地模式下,驱动器、主进程、执行器都运行在同一个JVM中。本章已经介绍过,这种形式对于开发、单元测试,还有调试,都是很有用的,但是对于运行生产环境的应用还有不足之处,因为这种形式不是分布式的,无法伸缩扩展。另外,本地模式下Spark应用中失败的任务默认不会重新执行。当然,这部分行为也是可以通过重载来避免的。
在以本地模式运行Spark时,应用的用户界面可以通过http://localhost:4040进行访问。在本地模式下,主进程用户界面和工作节点用户界面不可以访问。
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)