建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

发帖: 1粉丝: 0

发消息 + 关注

发表于2019年12月09日 11:04:54 1267 1
直达本楼层的链接
楼主
显示全部楼层
[问题求助] 如何提交一个spark任务到集群?

如何提交一个spark任务到集群?

有几十个mysql数据库表(表结构一样,按地市分表的),都在华为云上,需要每天抽取最近几天的数据,到另一个华为云mysql库表,做汇总。 目前的实现是PHP,串行处理,瓶颈在于读取源表上,这部分SQL已经优化过了,现在想进一步数据抽取的效率,以前本地SPARK集群,Scala编程有par.foreach方法可以并发的执行这几十个任务。 provs_props.keySet().toArray().par.foreach { x =>       ImportOrdersToHive(readOrders, saveToHiv, provs_props.getProperty(x.toString()), months_props) } 现在的问题是,基于华为云提供的接口,如何完成并发执行这几十个任务?感谢


举报
分享

分享文章到朋友圈

分享文章到微博
发表于2020年01月15日 09:53:03
直达本楼层的链接
沙发
显示全部楼层

是提交在yarn集群上的话就好说了(现将自己的工程打成jar包上传至集群)

spark-submit   --class 你的类名全路径

--master  yarn\

--deploy-mode  cluster\运行的模式,集群模式

--driver -memory 4g\分配内存大小

--exector -memory 2g\执行器内存大小

--exector -cores 1\执行核心数为1

自己的jar包的位置\


点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册