带你体验沙箱实验室的基于Spark实现车主驾驶行为分析丨【我的华为云体验之旅】
通过体验沙箱实验室的基于Spark实现车主驾驶行为分析实验后,我们可以从中学习MRS服务的创建过程,学习把文件数据上传到OBS,通过MRS里面创建作业类型为SparkSubmit,实现车主急加速、急刹车、空挡滑行、超速、疲劳驾驶等违法行为的次数的统计分析。
沙箱实验室地址:https://lab.huaweicloud.com/testdetail_377
下面就通过华为云平台实际操作一遍,记录并分享一下操作过程。
创建MRS服务
免费体验地址:https://activity.huaweicloud.com/free_test/index.html
点击0元试用,免费创建MRS过程:
集群名称:自定义名称 mrs_promotion_demo
集群类型:分析集群
分析组件:全选
虚拟私有云:如果已有创建好的,选择即可。如果没有,点击“查看虚拟私有云”,进入虚拟私有云界面,点击“创建虚拟私有云”,所有参数默认,点击“立即创建”即可。回到购买集群页面,点击刷新按钮,即可选中创建的虚拟私有云。
子网:虚拟私有云创建完成后子网自动创建并选中
密码:qwe!@#123
确认密码:qwe!@#123
点击“立即购买”,并进行支付,等待创建完成,此服务完全启动大约需要30分钟左右,请耐心等候。
数据准备
下载Spark样例数据下:https://mrs-obs-cn-north-4.obs.cn-north-4.myhuaweicloud.com/mrs-demon-samples/demon/detail-records.zip
上传文件至OBS
浏览器登录华为云,点击“控制台”->"服务列表" -> "存储" -> "对象存储服务",进入到对象存储服务页面,如下图所示:
点击“创建桶”按钮创建一个OBS桶,参数配置如下所示:
【复制桶配置:不选】
【区域】:华北-北京四
【桶名称】:自定义 ob-data-test
【数据冗余存储策略】:单AZ存储
【默认存储类别】:标准存储
【桶策略】:私有
【默认加密】:关闭
【归档数据直读】:关闭
【标签】:默认
点击“立即创建”。创建完成后点击桶名称进入对象存储服务,点击左侧栏"对象",进入到对象管理页面,再点击“新建文件夹”创建一个名为“input”的文件夹,如下图所示:
点击创建的“input”文件夹,然后点击“上传对象”,在弹出的对话框中选择解压后的数据文件(detail-records 文件夹中的所有文件)进行上传。结果如下图所示:
点击"对象”,在创建一个“program”文件夹,然后点击“上传对象”,在弹出的对话框中选择程序文件(driver-behavior.jar 文件)进行上传。结果如下图所示:
获取AK和SK
点击“控制台”,右上角账号名称 -> 我的凭证,点击左侧“访问秘钥”,点击新增访问秘钥,下载的文件里面就会有AK,SK。
创建作业
点击“控制台”->“服务列表”->“EI企业智能”->“MapReduce服务”进入MRS控制台,可以看到集群列表中创建的MRS集群,单击该集群名称进入,点击“概览”->“IAM用户同步”,点击同步。
同步完成后切换到“作业管理”页签,点击“添加”。
在弹出的对话框中,按照以下信息进行作业配置:
作业类型:SparkSubmit;
作业名称:driver_behavior_task;
执行程序路径:点击“OBS”, 选择创建的桶 -> program ->“.jar”文件并确定;
运行程序参数:参数:--class 值:huawei.bigdata.spark.examples.DriverBehavior
执行程序参数: AK SK 1 数据输入路径:点击“OBS”,选择创建的桶->“input”文件夹并确定;输出路径:直接输入 “s3a://桶名称/output/”;说明:其中AK和SK需要替换成之前下载文件中的Access Key Id和Secret Access Key。注意每个参数之间需要添加空格。
日志路径:默认。填写完成以后如下图所示:
单击“确定”按钮开始执行程序,等待2分钟左右作业状态变为“已完成”,就可以到OBS中查看结果。
查看结果
进入OBS(“控制台”->“服务列表”-> “存储” -> “对象存储服务”->“桶名称”->“对象”),可以看到生成“output”文件夹,点击打开,然后点击列表中以“part”开头的文件右侧的“下载”按钮将该文件下载到本地。
最终筛选结果如下图所示:
温馨提示
文章内容如果写的存在问题欢迎留言指出,让我们共同交流,共同探讨,共同进步~~~
文章如果对你有帮助,动动你的小手点个赞,鼓励一下,给我前行的动力。
【我的华为云体验之旅】有奖征文火热进行中:https://bbs.huaweicloud.com/blogs/309059
- 点赞
- 收藏
- 关注作者
评论(0)