带你体验沙箱实验室的基于Spark实现车主驾驶行为分析丨【我的华为云体验之旅】

通过体验沙箱实验室的基于Spark实现车主驾驶行为分析实验后，我们可以从中学习MRS服务的创建过程，学习把文件数据上传到OBS，通过MRS里面创建作业类型为SparkSubmit，实现车主急加速、急刹车、空挡滑行、超速、疲劳驾驶等违法行为的次数的统计分析。

沙箱实验室地址：https://lab.huaweicloud.com/testdetail_377

下面就通过华为云平台实际操作一遍，记录并分享一下操作过程。

创建MRS服务

免费体验地址：https://activity.huaweicloud.com/free_test/index.html

点击0元试用，免费创建MRS过程：

集群名称：自定义名称 mrs_promotion_demo

集群类型：分析集群

分析组件：全选

虚拟私有云：如果已有创建好的，选择即可。如果没有，点击“查看虚拟私有云”，进入虚拟私有云界面，点击“创建虚拟私有云”，所有参数默认，点击“立即创建”即可。回到购买集群页面，点击刷新按钮，即可选中创建的虚拟私有云。

子网：虚拟私有云创建完成后子网自动创建并选中

密码：qwe!@#123

确认密码：qwe!@#123

点击“立即购买”，并进行支付，等待创建完成，此服务完全启动大约需要30分钟左右，请耐心等候。

数据准备

下载样例程序文件：https://mrs-obs-cn-north-4.obs.cn-north-4.myhuaweicloud.com/mrs-demon-samples/demon/driver-behavior.jar

下载Spark样例数据下：https://mrs-obs-cn-north-4.obs.cn-north-4.myhuaweicloud.com/mrs-demon-samples/demon/detail-records.zip

上传文件至OBS

浏览器登录华为云，点击“控制台”->"服务列表" -> "存储" -> "对象存储服务"，进入到对象存储服务页面，如下图所示：

点击“创建桶”按钮创建一个OBS桶，参数配置如下所示：

【复制桶配置：不选】

【区域】：华北-北京四

【桶名称】：自定义 ob-data-test

【数据冗余存储策略】：单AZ存储

【默认存储类别】：标准存储

【桶策略】：私有

【默认加密】：关闭

【归档数据直读】：关闭

【标签】：默认

点击“立即创建”。创建完成后点击桶名称进入对象存储服务，点击左侧栏"对象"，进入到对象管理页面，再点击“新建文件夹”创建一个名为“input”的文件夹，如下图所示：

点击创建的“input”文件夹，然后点击“上传对象”，在弹出的对话框中选择解压后的数据文件（detail-records 文件夹中的所有文件）进行上传。结果如下图所示：

点击"对象”，在创建一个“program”文件夹，然后点击“上传对象”，在弹出的对话框中选择程序文件（driver-behavior.jar 文件）进行上传。结果如下图所示：

获取AK和SK

点击“控制台”，右上角账号名称 -> 我的凭证，点击左侧“访问秘钥”，点击新增访问秘钥，下载的文件里面就会有AK，SK。

创建作业

点击“控制台”->“服务列表”->“EI企业智能”->“MapReduce服务”进入MRS控制台，可以看到集群列表中创建的MRS集群，单击该集群名称进入，点击“概览”->“IAM用户同步”，点击同步。

同步完成后切换到“作业管理”页签，点击“添加”。

在弹出的对话框中，按照以下信息进行作业配置：

作业类型：SparkSubmit；

作业名称：driver_behavior_task；

执行程序路径：点击“OBS”， 选择创建的桶 -> program -＞“.jar”文件并确定；

运行程序参数：参数：--class 值：huawei.bigdata.spark.examples.DriverBehavior

执行程序参数： AK SK 1 数据输入路径：点击“OBS”，选择创建的桶-＞“input”文件夹并确定；输出路径：直接输入 “s3a://桶名称/output/”；说明：其中AK和SK需要替换成之前下载文件中的Access Key Id和Secret Access Key。注意每个参数之间需要添加空格。

日志路径：默认。填写完成以后如下图所示：

单击“确定”按钮开始执行程序，等待2分钟左右作业状态变为“已完成”，就可以到OBS中查看结果。

查看结果

进入OBS（“控制台”->“服务列表”-> “存储” -> “对象存储服务”->“桶名称”->“对象”），可以看到生成“output”文件夹，点击打开，然后点击列表中以“part”开头的文件右侧的“下载”按钮将该文件下载到本地。

最终筛选结果如下图所示：

温馨提示

文章内容如果写的存在问题欢迎留言指出，让我们共同交流，共同探讨，共同进步~~~

文章如果对你有帮助，动动你的小手点个赞，鼓励一下，给我前行的动力。

【我的华为云体验之旅】有奖征文火热进行中：https://bbs.huaweicloud.com/blogs/309059