Lv.3
FI小粉丝
更多个人资料
355
成长值
2
关注
12
粉丝
+ 关注
私信
个人介绍
这个人很懒,什么都没有留下
感兴趣或擅长的领域
暂无数据
个人勋章
TA还没获得勋章~
成长雷达
355
0
0
0
0
个人资料
个人介绍
这个人很懒,什么都没有留下
感兴趣或擅长的领域
暂无数据
达成规则
以上满足
项可达成此勋章
博客
关注
粉丝
论坛
全部时间
全部时间
最近三天
最近一周
最近一月
全部
暂无专栏分类
【转】如何使用MRS
原文链接:https://support.huaweicloud.com/usermanual-mrs/mrs_01_0025.htmlMRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。MRS使用简单,通过使用在集群中连接在一起...
EI企业智能
MapReduce
FI小粉丝
2021-06-24 15:04:47
4703
0
0
2021-06-24 15:04:47
999+
0
0
【转】Hudi简介
原文链接:https://support.huaweicloud.com/productdesc-mrs/mrs_08_0083.htmlHudi是数据湖的文件组织层,对Parquet格式文件进行管理提供数据湖能力,支持多种计算引擎,提供IUD接口,在 HDFS的数据集上提供了插入更新和增量拉取的流原语。图1 Hudi基本架构Hudi特性ACID事务能力,支持实时入湖和批量入湖。多种视图能力...
EI企业智能
FusionInsight
FI小粉丝
2021-06-24 14:59:22
4561
0
0
2021-06-24 14:59:22
999+
0
0
【转】ClickHouse简介
原文链接:https://support.huaweicloud.com/productdesc-mrs/mrs_08_0076.htmlClickHouse简介ClickHouse是一款开源的面向联机分析处理的列式数据库,其独立于Hadoop大数据体系,最核心的特点是极致压缩率和极速查询性能。同时,ClickHouse支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异...
EI企业智能
FusionInsight
分布式
数据库
FI小粉丝
2021-06-24 14:57:10
5522
0
0
2021-06-24 14:57:10
999+
0
0
【转】MRS与自建Hadoop对比优势
原文链接:https://support.huaweicloud.com/productdesc-mrs/mrs_08_0002.htmlMapReduce服务(MRS)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,用户无需关注硬件的购买和维护。MRS服务拥有强大的Hadoop内核团队,基于华为FusionInsi...
EI企业智能
FusionInsight
MapReduce
FI小粉丝
2021-06-24 14:50:39
2597
0
0
2021-06-24 14:50:39
999+
0
0
Kafka最佳使用实践-Kafka分区散列到新扩容节点
1.基本信息当集群规模不足以应对业务数据量的压力时,扩容集群节点是必要的手段。Kafka集群在扩容后通常会选择两种方案来均衡集群中的数据。方案I 执行rebalance均衡操作,将整个集群的分区均衡的分配到每个节点。方案II 扩容分区,重新创建分区,并且将分区分布到新扩容的节点上。a) 根据以上两种方案分别对应于三种不同的场景:场景I 如果扩容前每个节点的总分区数量超过了500...
EI企业智能
FusionInsight
Kafka
FI小粉丝
2021-06-24 11:33:09
6495
0
0
2021-06-24 11:33:09
999+
0
0
HBase使用最佳实践-HBase Bulkload原理介绍
一、介绍HBase有多种方式把数据load进去,最直接的方式是通过HBase Client API逐条写入,或通过MapReduce调用TableOutputFormat方法写入,但它们都不是最有效的方式。HBase还提供了另一种比较有效的加载数据方式:ImportTsv工具将数据转换成HBase内部的组织格式输出成HFile文件;completebulkload工具将ImportTsv生成...
EI企业智能
FusionInsight
HBase
FI小粉丝
2021-06-24 10:19:47
5294
0
1
2021-06-24 10:19:47
999+
0
1
Kafka最佳实践-Kafka常见的使用误区
1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此,很多人会误以为,kafka的每个节点只要存储够大就行,不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘,因为磁盘越多,表示需要更多的处理线程去管理(num.io.thread决定),CPU的压力将非常大,如果磁盘数大于了CPU逻辑核数,kafka的CPU将因为非常繁忙导致数据落盘...
EI企业智能
FusionInsight
Kafka
ZooKeeper
FI小粉丝
2021-06-24 09:32:07
5112
0
0
2021-06-24 09:32:07
999+
0
0
Kafka使用最佳实践-Kafka Topic故障问题分析思路
1.1 分析导图 1.2 Topic的describe信息异常,出现大量的leader -1或者leader为none通过1.4章节查看集群节点是否完整。查看kafka集群的节点是否有非常规退服。详情见4.1.14章节。如果出现这种情况,topic只能强制删除后重新创建,方法见维护宝典《如何手动删除topic》。节点信息正常但是出现大量的leader出现-1或者none,需要...
EI企业智能
FusionInsight
Kafka
FI小粉丝
2021-05-31 09:42:25
7868
3
0
2021-05-31 09:42:25
999+
3
0
Kafka使用最佳实践-Kafka常见的使用误区
1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此,很多人会误以为,kafka的每个节点只要存储够大就行,不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘,因为磁盘越多,表示需要更多的处理线程去管理(num.io.thread决定),CPU的压力将非常大,如果磁盘数大于了CPU逻辑核数,kafka的CPU将因为非常繁忙导致数据落盘失...
EI企业智能
FusionInsight
Kafka
ZooKeeper
FI小粉丝
2021-05-28 15:06:50
4784
0
0
2021-05-28 15:06:50
999+
0
0
Kafka使用最佳实践-Kafka生产问题分析思路与解决方案
一、生产问题分析思路 二、数据无法正常写入,使用客户端无法正常生产数据首先使用生产命令进行生产测试。看是否是C80版本,确认是否有打入kafka死锁补丁,如果没有请打入。Kafka的服务端节点是否开启了DNS,如果开启请参照《kafka启动候不定时出现"恢复中"状态》解决。 根据章节查看topic是否正常(2.2章节),如果不正常优先恢复topic,参考维护宝典Topic操作常见故障章节...
EI企业智能
FusionInsight
Kafka
FI小粉丝
2021-05-25 17:25:29
2791
0
0
2021-05-25 17:25:29
999+
0
0
总条数:35
10
10
20
50
100
1
2
3
4
上滑加载中
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
+ 关注
私信