带你体验沙箱实验室的基于Spark实现车主驾驶行为分析丨【我的华为云体验之旅】

举报
zekelove 发表于 2021/12/02 14:29:50 2021/12/02
【摘要】 通过体验沙箱实验室的基于Spark实现车主驾驶行为分析实验后,我们可以从中学习MRS服务的创建过程,学习把文件数据上传到OBS,通过MRS里面创建作业类型为SparkSubmit,实现车主急加速、急刹车、空挡滑行、超速、疲劳驾驶等违法行为的次数的统计分析。

通过体验沙箱实验室的基于Spark实现车主驾驶行为分析实验后,我们可以从中学习MRS服务的创建过程,学习把文件数据上传到OBS,通过MRS里面创建作业类型为SparkSubmit,实现车主急加速、急刹车、空挡滑行、超速、疲劳驾驶等违法行为的次数的统计分析。

沙箱实验室地址:https://lab.huaweicloud.com/testdetail_377

下面就通过华为云平台实际操作一遍,记录并分享一下操作过程。

创建MRS服务

免费体验地址:https://activity.huaweicloud.com/free_test/index.html

点击0元试用,免费创建MRS过程:

集群名称:自定义名称 mrs_promotion_demo

集群类型:分析集群

分析组件:全选

虚拟私有云:如果已有创建好的,选择即可。如果没有,点击“查看虚拟私有云”,进入虚拟私有云界面,点击“创建虚拟私有云”,所有参数默认,点击“立即创建”即可。回到购买集群页面,点击刷新按钮,即可选中创建的虚拟私有云。

子网:虚拟私有云创建完成后子网自动创建并选中

密码:qwe!@#123

确认密码:qwe!@#123

点击“立即购买”,并进行支付,等待创建完成,此服务完全启动大约需要30分钟左右,请耐心等候。


数据准备

下载样例程序文件:https://mrs-obs-cn-north-4.obs.cn-north-4.myhuaweicloud.com/mrs-demon-samples/demon/driver-behavior.jar

下载Spark样例数据下:https://mrs-obs-cn-north-4.obs.cn-north-4.myhuaweicloud.com/mrs-demon-samples/demon/detail-records.zip

上传文件至OBS

浏览器登录华为云,点击“控制台”->"服务列表" -> "存储" -> "对象存储服务",进入到对象存储服务页面,如下图所示:

点击“创建桶”按钮创建一个OBS桶,参数配置如下所示:

【复制桶配置:不选】

【区域】:华北-北京四

【桶名称】:自定义 ob-data-test

【数据冗余存储策略】:单AZ存储

【默认存储类别】:标准存储

【桶策略】:私有

【默认加密】:关闭

【归档数据直读】:关闭

【标签】:默认

点击“立即创建”。创建完成后点击桶名称进入对象存储服务,点击左侧栏"对象",进入到对象管理页面,再点击“新建文件夹”创建一个名为“input”的文件夹,如下图所示:

点击创建的“input”文件夹,然后点击“上传对象”,在弹出的对话框中选择解压后的数据文件(detail-records 文件夹中的所有文件)进行上传。结果如下图所示:

点击"对象”,在创建一个“program”文件夹,然后点击“上传对象”,在弹出的对话框中选择程序文件(driver-behavior.jar 文件)进行上传。结果如下图所示:

获取AK和SK

点击“控制台”,右上角账号名称 -> 我的凭证,点击左侧“访问秘钥”,点击新增访问秘钥,下载的文件里面就会有AK,SK。

创建作业

点击“控制台”->“服务列表”->“EI企业智能”->“MapReduce服务”进入MRS控制台,可以看到集群列表中创建的MRS集群,单击该集群名称进入,点击“概览”->“IAM用户同步”,点击同步。

同步完成后切换到“作业管理”页签,点击“添加”。

在弹出的对话框中,按照以下信息进行作业配置:

作业类型:SparkSubmit

作业名称:driver_behavior_task

执行程序路径:点击“OBS”, 选择创建的桶 -> program ->“.jar”文件并确定;

运行程序参数:参数:--class 值:huawei.bigdata.spark.examples.DriverBehavior

执行程序参数: AK SK 1 数据输入路径:点击“OBS”,选择创建的桶->“input”文件夹并确定;输出路径:直接输入 “s3a://桶名称/output/说明:其中AKSK需要替换成之前下载文件中的Access Key IdSecret Access Key。注意每个参数之间需要添加空格。

日志路径:默认。填写完成以后如下图所示:

单击“确定”按钮开始执行程序,等待2分钟左右作业状态变为“已完成”,就可以到OBS中查看结果。

查看结果

进入OBS(“控制台”->“服务列表”-> “存储” -> “对象存储服务”->“桶名称”->“对象”),可以看到生成“output”文件夹,点击打开,然后点击列表中以“part”开头的文件右侧的“下载”按钮将该文件下载到本地。

最终筛选结果如下图所示:

温馨提示

文章内容如果写的存在问题欢迎留言指出,让我们共同交流,共同探讨,共同进步~~~

文章如果对你有帮助,动动你的小手点个赞,鼓励一下,给我前行的动力。

【我的华为云体验之旅】有奖征文火热进行中:https://bbs.huaweicloud.com/blogs/309059

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。