作者小头像 Lv.3
更多个人资料
489 成长值
1 关注
7 粉丝
+ 关注 私信

个人介绍

这个人很懒,什么都没有留下

感兴趣或擅长的领域

大数据、云计算、数据库、云存储、人工智能
个人勋章
TA还没获得勋章~
成长雷达
210
279
0
0
0

个人资料

个人介绍

这个人很懒,什么都没有留下

感兴趣或擅长的领域

大数据、云计算、数据库、云存储、人工智能

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
FusionInsight MRS配置机架策略最佳实践
大型集群的所有主机通常分布在多个机架上,不同机架间的主机通过交换机进行数据通信,且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足不同主机之间的通信能够尽量发生在同一个机架之内,分布式服务的进程或数据需要尽可能存在多个机架的不同主机上这两个要求
作者小头像 一枚核桃
1481
0
0
2021-09-30 09:00:36
999+
0
0
FusionInshgt MRS启用集群间拷贝功能
当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用。拷贝数据的集群双方都需要配置。管理员可以根据以下指导,在FusionInsight Manager修改参数以启用集群间拷贝功能
作者小头像 一枚核桃
1431
0
0
2021-08-28 14:29:19
999+
0
0
FusionInsight二次开发安全认证原理和认证机制
功能开启了 Kerberos认证的安全模式集群,进行应用开发时需要进行安全认证。Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”,后来沿用作为安全认证的概念,使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种...
作者小头像 一枚核桃
1773
0
0
2021-08-28 09:25:29
999+
0
0
FusionInsight MRS CarbonData首查优化工具简介
工具介绍CarbonData 的首次查询较慢,对于实时性要求较高的节点可能会造成一定的时延。本工具主要提供以下功能:对查询时延要求较高的表进行首次查询预热。工具使用下载安装客户端,例如安装目录为“/opt/client”。进入 目录“/opt/client/Spark2x/spark/bin”, 执行start-prequery.sh。参考下表配置prequeryParams.propert...
作者小头像 一枚核桃
1514
0
0
2021-07-30 16:25:36
999+
0
0
FusionInsight MRS小文件合并工具简介
在Hadoop大规模生产集群中,由于HDFS的元数据都保存在NameNode的内存中,集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件,会消耗NameNode大量内存,还会大幅降低读写性能,延长作业运行时间。因此,小文件问题是制约Hadoop集群规模扩展的关键问题。
作者小头像 一枚核桃
1693
0
0
2021-07-30 16:22:12
999+
0
0
FusionInsight MRS备份恢复简介
概述FusionInsight Manager提供对集群内的用户数据及系统数据的备份恢复能力,备份功能按组件提供。系统支持备份Manager的数据、组件元数据(DBService、Elasticsearch、HDFS NameNode、HBase、Kafka、Yarn)及业务数据(HBase、HDFS、Elasticsearch、Hive、Redis)。备份功能支持将数据备份至本地磁盘(Lo...
作者小头像 一枚核桃
1693
0
0
2021-06-26 16:34:28
999+
0
0
通过开源镜像站获取FusionInsight MRS的样例代码
构建流程样例工程构建流程包括三个主要步骤:下载样例工程的Maven工程源码和配置文件配置华为镜像站中SDK的Maven镜像仓库根据用户自身需求,构建完整的Maven工程样例工程获取地址FusionInsight MRS样例工程Git下载地址为:https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.0.2下载压缩包到...
作者小头像 一枚核桃
1740
0
0
2021-06-26 09:46:08
999+
0
0
FusionInsight MRS组件FTP-Server基本原理
FTP-Server简介FusionInsight MRS的FTP-Server服务是一个纯Java的、基于现有开放的FTP协议的FTP服务。FTP-Server支持FTP、FTPS协议,每个服务都支持PORT、PASSIVE数据通信协议。用户或业务组件可通过通用的FTP客户端、FTP协议对HDFS文件系统进行基本的操作,如:文件上传,文件下载,目录查看,目录创建,目录删除,文件权限修改等...
作者小头像 一枚核桃
1798
0
0
2021-05-25 16:10:35
999+
0
0
使用Apache Superset对接FusionInsight MRS中的ClickHouse组件进行报表分析
背景Apache Superset是一款由 Airbnb 开源的、现代的、轻量级BI分析工具,能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘,且拥有友好的用户界面,十分易用。由于Superset能够对接常用的大数据分析工具,如Hive、Kylin、Druid、ClickHouse等,且支持自定义仪表盘,可作为可视化工具来使用。 前提条件完成Apache Superset的安装...
作者小头像 一枚核桃
1993
0
0
2021-05-25 11:37:57
999+
0
0
集成Ranger后,MRS的Hive组件使用set role admin的方法
背景FusionInsight MRS集群默认安装Ranger服务并启用了Ranger鉴权模型,管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。目前安全模式集群中支持Ranger的组件包括:HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm、Elasticsearch、HetuEngine。 使用场景MRS3.0.2以前的版本中只需要在Fu...
作者小头像 一枚核桃
2137
0
0
2021-04-26 11:51:01
999+
0
0
总条数:21
  • 1
  • 2
  • 3
到第 页

上滑加载中

https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注 私信