华为云大咖说-大数据应用开发指导

赵军 华为云MRS服务架构师

这次课程分为三大部分

第一部分：公有云基本概念

第二部分：华为云MRS服务介绍

第三部分：MRS解决方案场景及案例

一公有云基本概念

  首先是第一组概念，按照公有云资源池模型可分为Region和AZ。这两种模式为用户提供标准化的计算池以构建不同的应用。每个AZ都有自己的独立空间，因此可以避免连续的故障发生。而对于客户来讲，可以根据需求的不同做出相关选择。

接下来需要了解的是VPC-虚拟机私有云

  VPV就是我们可以访问的网络，虚拟机部署在不同的子网 ，子网就是网段， 而安全组就类似于防火墙。

ESC 弹性虚拟机

  需要注意的是华为虚拟机多种多样，各种性能都有，考虑成本到成本需求的不同，用户可以根据自己的业务来选择相关的EPC。

EVS 云硬盘

  EVS是一个模拟盘，不是真正的物理盘。它的好处就是想用什么样子的磁盘就可以申请什么样子的磁盘，申请速度非常快。

二华为云MRS服务介绍

  随着信息化和智能化的到来，大家亲身体验到数据呈爆炸式的增长，例如我们每天都会刷威信，刷微博和拍照片等等。还有很多看不到的数据改变，例如智能水表，电表和音响都可以联网， 时时刻刻都产生各种数据。以往绝大多数企业都会选择使用Hadoop去解决问题，但是随着数据种类和数量的转变，线下部署Hadoop却也显现出各种问题。

那MRS 云服务有哪些优点呢？

  在数据的处理方面，MRS可以帮助节省成本，因为MRS云服务只有存储成本没有计算成本，使用后数据的处理过程被立即释放效率非常高。

MRS组建的相关技术有哪些呢？

有时候数据很多，那数据到底存放在哪里呢？(利用MRS存储技术 )

  HDFS存储技术拥有比较智能的高容错性，认为硬件总是不可靠的。同时高吞吐量会为大文件存储提供空间，支持存储的空间也是TB-PB级别的数据。HBase存储技术可存放海量数据的同时吞吐量也很高，而且能够同时处理结构化和非结构化的数据，不需要完全拥有传统关系数据库所具备的ACID特性。

大数据是怎么来到MRS这个平台的呢？(利用MRS数据接入技术)

Flume数据接入技术采用流式方式采集和传送数据，程序配置好后，不需要外部条件触发的情况下，一直监控数据源就可以源源不断地采集并且传送数据到目的地。Kafka数据接入技术的优点是消息持久化到硬盘并且吞吐量高， 系统是分布式的易扩展而且容错性也很好 。Sqoop数据接入技术的优点是图形化，高吞吐量，高性能以及安全可靠。

数据怎样分析以及工作呢？(利用MRS数据分析技术 )

  MapRedue数据分析技术的优点是易于编程，同时拥有良好的扩展性和高容错性。 Hive数据分析技术优点是基于MapReduce的，同时支持多种存储格式，例如文本ORC/RC File，Hbase，Parquet等等，而且还提供SQL查询能力。Spark数据分析技术可以基于内存进行快速查询， 还提供了多种算子，易用性高。

最后MRS流式技术更好地为用户服务

 Storm流式技术依靠事件驱动，可以连续查询。数据在应用时先计算不存储。响应是实时的，延迟很低。SparkStreaming 流式技术吞吐量高，容错能力强。

三MRS实际应用场景以及应用案例

场景1：海量数据的分析计算和准实时查询

场景2：低时延流式处理

案例1：助力内部客户实现智能CBG运维和BI

案例2：离线数据处理场景(分析与预测)

此外，同学们通过相关的学习，提出了不少反思问题。

问题1：自己用虚拟机搭建的集群用来学习可不可以？

回答1：不太建议自己搭建，自己搭建比较费时费力。用MRS搭建很方便，而且价格便宜费用在2元一小时左右。

问题2：现在国内有阿里云 腾讯云，国外有微软云 AWS 谷歌云等，现在华为云的优势方面能说一下嘛？就是选择华为云而不选择其他的？

回答2：简单点说我们现在就是恪守边界，上不碰应用下不碰数据。而华为最大的优势就在于提供一个平台，可以让更多的伙伴参与进来。

问题3：大数据上云背后是基于什么上云的？是虚拟机还是容器？

回答3：目前是基于虚拟机机，此外还支持本地盘的应用。

最后感谢大家的参与，大家可以关注华为云DevCloud官方微信，回复“大数据指导”，获取今晚PPT。也欢迎大家持续关注华为云DevCloud直播间，关注后续课程，学知识，领礼品~

视频l连接：https://m.qlchat.com/wechat/page/topic-intro?topicId=00003012106091

以上文字内容由【内容众创兴趣小组-Tom forever】整理