[体验官] MapReduce服务 MRS体验

受邀 MapReduce服务体验官,感到非常荣幸,也非常忐忑。对 MapReduce服务不了解,非常想借这个机会了解学习大数据。

这次体验的是使用Spark实现车联网车主驾驶行为分析-最佳实践

1、创建集群(略,感谢代金券)

2、准备Spark样例数据

2.1创建一个名称为obs-demo-data-hwt-richblue88的桶

image.png


image.png



2.2在IAM创建DIS委托

image.png


image.png

image.png

2.3申请DIS通道

image.png

2.4下载并安装DIS Agent

image.png

2.5下载并获取Spark样例数据

image.png


2.6配置DIS Agent采集数据

agent.yml配置

2.7启动Agent

image.png

image.png

2.8查看数据上传情况

image.png

3、准备Spark样例程序

3.1创建桶,创建一个名称为obs-demo-analysis-hwt-richblue88

image.png


3.2分别新建program、output和log文件夹

image.png


3.3创建作业

3.4查看作业结果

image.png

image.png

1.操作体验:是否能够顺畅的创建集群,提交作业,跑组件的样例程序

创建集群OK。但是缺乏集群的说明,不知道选哪种集群比较适合场景。按照最佳实践重新建了集群才把后面的做下来。

2.性能:您在体验过程中使用了哪些组件,跟自己搭建CDH,或者用过友商的对标组件相比,性能如何?

主要使用spark。对标腾讯云,最大的感受还是更方便一些。腾讯云的操作,几乎是要命令行操作。

性能上,因为是测的最佳实践案例,数据量小,感觉性能还可以。不知道真实业务跑起来咋样。

缺点是作业没有进度条。要点进去看日志才知道跑到哪一步了。

3.功能特性:对比体验官用过的其他大数据平台,是否有哪些功能需要补齐或加强?

感受到的是界面的图形化做的不错。

但是从大数据来讲,不仅仅是这个一个套间。与其他功能(数据湖、实时流、数据接入、数据仓库、云搜索等)怎么混搭使用?

或者弄一个最佳组合套间出来比较好。

个人感觉产品多,但是缺整体的框架。

建议是整理通用的框架出来,或者从场景推荐最佳的大数据产品组合。

4.满意度及推荐度:当自己的项目或是公司有大数据应用的需求时,是否愿意自己使用或推荐身边的同事朋友使用华为云MRS服务?什么原因促使你做出这个结论?

华为云一直是国产的标杆。一直是努力进步的云。我相信华为云的EI、大数据产品越做越好。

但是希望更深入客户的应用和痛点。比如MRS的输出,能不能展示得更好一点。而不是让用户从obs里去下载。

然后从费用来说,成本确实比较高。如果输出的内容对企业有价值还可以考虑,如果只是测试体验,收费就不好说了。