建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块

仰望星空

发帖: 6粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2019-1-23 11:06:08 5857 0 楼主 显示全部楼层
[新特性] Power Up!MRS2.0 性能再度爆破,更加简单易用

 MapReduce服务上线以来,我们在用户的意见和建议中不断地进行改进和优化。如今MRS已来到2.0时代。MRS 2.0对大数据引擎做了全面升级,并推出实时流与批分析一体的混合集群,支持计算存储分离的统一存储方案,为客户提供低成本、高性能、更易用的全新一站式大数据平台服务。

      下面就由小编给大家详细介绍下MapReduce2.0的新特性。


MRS 2.0 新特性一览表  

321.png


一、MRS 2.0 vs 1.X ——Hadoop篇:

Ø  冷数据占存储空间更小

对于冷数据的存储,我们一直希望能够减少其所占存储空间。纠删码作为给HDFS拓展的新特性,是一种与副本相比更节省存储空间的数据持久化方法。

传统HDFS数据只采用冗余的方式来获得数据可靠性(默认冗余200%),带来了存储成本的提升。该技术在HDFS实现了纠删码使得数据冗余减少到50%,且可靠性更高(使用Reed-Solomon(10,4)编码的数据可以允许4个节点失效),并引入条带化的块存储结构,最大化的利用现代集群单节点多磁盘的能力,使得数据写入性能在引入编码过程后,仍和原来多副本冗余的性能接近,更值得一提的是,应用层无需改动写入数据的实现方式即可获得这部分提升。

使用场景上,纠删码编码的数据在读写数据时,会耗费更多的CPU,在CPU资源富裕的大数据应用场景,能给客户带来更大的成本空间。

Ø  YarnOpportunistic Containers

过去的YARN集群,资源利用率较低,主要有两个因素,一是延迟反馈,YARN依赖心跳管理集群资源,空闲资源能够再次被申请,需要多次心跳交互才能感知到;二是YARN应用声明的资源比实际使用量大,导致利用率低。

Opportunistic Containers相对于之前的Guaranteed Container来说,优先级更低,会被Guaranteed Container抢占,但其优势在于让container请求在YARNNodeManager节点排队(即使资源不足),一旦有空闲资源,可以立即开始执行,消除了延迟反馈,提升了Container启动速度,从而提高了集群利用率。

 

Ø  新机制实现Yarn的高扩展

新引入Yarn federation机制:将一个超大的集群分解成多个子集群的方式来实现Yarn的高扩展性,每个子集群有自己的ResourceManagerNodeManagerYarn federation将这些子集群拼接在一起使他们成为一个大集群。在Yarn federation环境中,Application看到的是一个超大的集群,并且能够在整个集群的任何节点执行Task

Ø  支持自定义资源模型

MRS2.0开始,Yarn支持自定义资源模型(support user-defined countable resource types),不仅仅支持CPU和内存,比如集群管理员可以自定义诸如GPU,软件许可证等等资源,Yarn任务可以根据这些资源的可用性进行调度。

 

除此之外,华为云MRS服务2.0全面兼容Hadoop 3版本,提供了DataNode节点内多磁盘均衡工具,来处理添加或替换磁盘时可能导致的DataNode内部多块磁盘存储的数据不均衡的问题。

 

二、MRS 2.0 vs 1.X ——Hive篇:

Ø  新执行引擎Tez

MRS2.0上的Hive,使用新的执行引擎Tez代替原先的MapReduce,性能有了显著提升。

Tez可以将多个有依赖的作业转换为一个作业(这样只需写一次HDFS,且中间节点较少),从而大大提升DAG作业的性能。下面的图表阐述了这个过程:

左图表展示的流程包含多个 MR 任务,每个任务都将中间结果存储到 HDFS 上(前一个步骤中的 reducer 为下一个步骤中的 mapper 提供数据)。右图表展示了使用 Tez 时的流程,仅在一个任务中就能完成同样的处理过程,任务之间不需要访问HDFS

使用 Tez 完成Hive 查询的好处包括:

·       它为你提供了全面的 DAG 支持,同时会自动地在集群上完成大量的工作,因而它能够充分利用集群的并行能力,在多个 MR 任务之间不需要从 HDFS 上读 / 写数据,通过一个单独的 Tez 任务就能完成所有的计算。

·       它提供了会话和可重用的容器,因此延迟低,能够尽可能地避免重组。

·       兼容原先MR任务。

Tez提供了的全新的UI界面,可以更加方便的查看每个任务的执行情况。

01231.png

Ø  提供了HPLSQL

MRS2.0中的Hive支持存储过程(HPLSQL)。使用存储过程能够更加方便的执行具有关联性的HQL语句集,通过定义变量和传参,灵活地调用方法获取事务的执行结果,比之前反复执行多条hql语句效率更高。通过定义连接,可以在一个HPLSQL中访问不同的关系型数据库。

下面是一个简单的HPLSQL例子:

CREATE FUNCTION hello(text STRING)

RETURNS STRING

BEGIN

  RETURN 'Hello, '   || text || '!';

END;

 

FOR item IN (

  SELECT s1,s2 FROM   test limit 10

)

LOOP

  PRINT item.s1 ||   '|' || item.s2 || '|' || hello(item.s1);

END LOOP;

CREATE FUNCTION hello(text STRING)

RETURNS STRING

BEGIN

  RETURN 'Hello, '   || text || '!';

END;

 

FOR item IN (

  SELECT s1,s2 FROM   test limit 10

)

LOOP

  PRINT item.s1 ||   '|' || item.s2 || '|' || hello(item.s1);

END LOOP;

 

Ø  HiveWebUI使运维更加简单

HiveServer如今提供的web界面,可以方便查看正在运行的SQL有哪些,执行了多长时间等,可以说是运维同学的一大福音。

01232.png

新版本的Hive还充分利用现代CPU提供的SIMDAVX2等指令集,来提高CPU利用效率。例外,CBO这种基于代价的查询优化,对于多表join性能优化效果显著。使用新版本后,根据不同场景,Hive的性能提升了不止50%呢。

 

三、MRS 2.0 vs 1.x ——Spark篇:

Ø  真正毫秒级低延迟处理

无论是最早的Spark Streaming,还是Spark 2.0中推出的Structured Streaming,均采用定时触发,生成微批的方式实现流式处理。

Spark Streaming的处理逻辑如下:当新的数据到达时,Driver需要等到定时器下一个触发的时刻,将这段时间内到达的所有新数据生成一个新的批次,并将其加到一个队列中。之后,会由Driver的另一个线程获取队列中的批次,解析处理后生成Task并分发给各个Executor执行。显然,等待定时器触发,以及分发TaskExecutor执行,都带来了额外的时间开销。Structured Streaming处理逻辑有所不同,但存在相同的问题。

MRS 2.0中包含的Spark 2.3版本,在Structured Streaming中新加入了Continuous Processing模式,正是解决了上述问题。使用该模式时,会在各个Executor上启动一组长时间运行的任务,而不再是定时触发。数据一旦到达,就会立刻被计算处理,从而避免了等待定时器下一次触发的额外时间消耗,以及生成Task并分发到Executor的额外时间消耗,实现了真正毫秒级的低延迟处理,最小延迟从原先的100毫秒左右,降低到现在的3-5毫秒左右。

Ø  支持流和流的join操作

MRS 2.0之前,Structured Streaming仅支持流和静态数据集之间的join操作,MRS 2.0中包含了Spark 2.3版本,加入了期待已久的流和流的join操作。流和流的join操作,支持内连接和外连接,可用在大量的实时场景中,例如比较常见的点击日志流的join操作,现在就可以通过几行代码轻松实现。

Structured Streaming之前在Spark 2.0版本中推出,用来替代原先的Spark StreamingStructured Streaming基于Spark SQL引擎,使用户能够使用与批处理一样的DataSet API来构建流式应用,并能享受Spark SQL引擎带来的性能提升,另外,Structured Streaming还提供了exactly-once的语义支持,因此推荐大家使用Structured Streaming替代原有的Spark Streaming程序。

Ø  PySpark性能优化

基于Apache ArrowPandas库,实现了pandas_udf。利用pandas对数据进行矢量化的优化,并通过Arrow降低PythonSpark的通信开销。使用pandas_udf替代pyspark中原来的udf对数据进行处理,可以减少60%-90%的处理时长(受具体操作影响)。

Ø  MLLib优化提升

Spark 2.3中带来了许多MLLib方面的提升,例如,支持Structured Streaming中使用MLLib的模型和pipeline;支持创建图像数据的DataFrame;使用Python编写自定义机器学习算法的API简化等。

 

四、MRS 2.0 vs 1.x ——HBase篇:

Ø  HBase on OBS: 数据与MRS集群解耦

HBase2支持为WALHFile设置存储在不同类型的文件系统,MRS 2.0中的HBase2.1支持设置WAL on HDFSHFile on OBS,实现存储和计算分离的目的,并有以下几个优点:

·     计算存储分离可以根据需要对RegionServer进行弹性扩缩容,避免计算和存储绑定造成的资源浪费;

·    华为云OBS的单价低于云盘和直通盘,在大容量存储需求下极大的降低存储成本;

·    OBS支持跨AZ和跨Region的数据复制,极大提高数据的可靠性。

此外,相比开源HBase2MRS HBase2.1on OBS场景做了更多的可靠性优化:

·    创建集群支持on OBS的模式,简化操作步骤;

·    简化Region Location计算的算法,不再对数据本地性作要求;

·    数据恢复过程中的WAL Split阶段统一在HDFS中完成,恢复时长同on HDFS

 

Ø  新的多租户方案

RegionServer Group作为新的多租户方案,可以将多个RegionServer进行分组,组成不同的RGS。不同的表可以分布在不同的RGS中,不同RGS中的表不会互相受到影响,以这种从RegionSever中物理隔离的方式,从而实现多租户的方案。

Ø  优化region状态转换

AssignmentManager V2基于Procedure V2实现,能够更快速的分配Region,维护的region状态机存储不再依赖于ZooKeeper,移除了regionzookeeper中的状态信息,只在HMaster的内存和Meta表中维护region状态,极大的解决了region状态转换过程中引起的问题。

Ø  优化HFile实现方式

MemStore中的数据达到一定大小以后,先Flush到内存中的一个不可改写的Segment,内存中的多个Segments可以预先合并,达到一定的大小以后,才FlushHDFS中的HFile文件,这样做能够有效降低Compaction所带来的写IO放大问题。

 

此外,HBASE 2.x更改了数据的读写方式,会直接在二级缓存中进行读写,采用堆外内存Offheap替代之前的堆内内存,减少对Heap内存的使用,有效减少GC压力。HBase2.x 开始默认使用NettyRpcServer替代HBase原生的RPC server,大大提升了HBaseRPC的吞吐能力,降低了延迟。

 

五、MRS 2.0 vs 1.x ——Kafka篇:

Ø  支持Kafka MirrorMaker

MirrorMaker用于Kafka集群之间的流数据同步,可以把Kafka集群中的消息复制到另一个Kafka集群中,这在测试环境引流的时候,或者需要把多个不同的Kafka集群的消息合并在一个大集群时非常有用。Kafka mirrormaker通过Kafka集群间的数据镜像能力,实现跨kafka集群的消息实时同步备份,可用作在线kafka集群的数据容灾场景和kafka集群的数据在线迁移场景,提高数据迁移的吞吐量和容错性。

 

六、MRS 2.0 vs 1.x ——集群管理篇:

Ø  混合集群

原先MRS只支持独立的分析集群和流式集群,对于一些小型数据场景及测试场景,既要部署分析和流式组件,就需要部署两套集群。

于是MRS2.0引入了混合集群概念,在同一集群中用户就可以同时部署分析和流式组件,节省了管理节点的成本,并且可以大大减少不同集群的通信成本,是小型集群和测试场景大大的福音。

Ø  混合计费模式的弹性伸缩

企业生产环境长期使用大数据集群,为节省成本往往会选择价格更优惠的包周期预付费购买模式。但大数据的计算资源率随着业务时段存在峰谷变化,如果包年包月购买的资源按照峰值就会存在大量时间段的浪费,按照谷值购买又会存在忙时资源不足影响业务。因此MRS 2.0提供了混合计费的弹性伸缩能力,可以在包周期集群上配置弹性策略(按时间段或者业务指标进行集群节点弹性伸缩),弹性部分节点按需收费。客户可以根据业务情况配置自动弹性伸缩策略,MRS服务会在繁忙时申请额外资源,空闲时释放多余资源,帮助客户降低成本,聚焦核心业务。

Ø  Manager的监控展示的优化

MRS2.0Manager界面默认显示历史监控数据,用户可以选择实时或者任意区间查看监控数据查看监控数据更便捷。

1503.png

磁盘使用率、内存使用率等指标细化显示,主机监控更细致,星型符号标注主备管理节点,用户体验更友好。

1504.png

 

MRS2.0新增了这么多特性,进一步实现了完整统一的计算系统,为大家提供7*24小时不间断服务的系统级平台。同时具有强大的包容的生态圈,并支持计算存储分离的功能,大家从各个平台迁移过来都非常方便。开源中的所有新特性,都可以来MRS 2.0上抢先一步体验到。

 

MRS 2.0 敬请期待。。。




回复 举报
分享

分享文章到朋友圈

分享文章到微博

建赟

发帖: 161粉丝: 11

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于2019-1-30 09:56:12 沙发 显示全部楼层

学习下

点赞 回复 举报

游客

您需要登录后才可以回帖 登录 | 立即注册