作者小头像 Lv.3
更多个人资料
444 成长值
1 关注
6 粉丝
+ 关注 私信

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

大数据、云计算、数据库、云存储、人工智能
个人勋章
TA还没获得勋章~
成长雷达
210
234
0
0
0

个人资料

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

大数据、云计算、数据库、云存储、人工智能

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
FusionInsight MRS HetuEngine使用HBase数据源
操作场景本章节指导用户在HSConsole界面添加HBase数据源。前提条件数据源所在集群域名与HetuEngine集群域名不能相同。数据源所在集群与HetuEngine集群节点网络互通。已创建HetuEngine计算实例。数据源所在集群与HetuEngine所在集群上ZooKeeper的SSL通信加密配置需保持一致。FusionInsight Manager 8.1.2之前的版本，SSL通...
作者小头像 一枚核桃
847
0
0
2022-01-14 14:48:47
847
0
0
FusionInsight MRS Hudi原理解析之单表并发写实现方案
Hudi单表并发写实现方案使用外部服务（Zookeeper/Hive MetaStore）作为分布式互斥锁服务。允许并发写入文件，但是不允许并发提交commit，提交commit操作封装到事务中。提交commit时，执行冲突检查：若本次提交的commit中，修改的文件列表，与本次instanceTime之后的commit存在重叠文件，则提交失败，本次写入无效。使用并发机制需要注意问题INSE...
作者小头像 一枚核桃
846
0
0
2021-12-28 10:52:49
846
0
0
FusionInsight MRS Hudi原理解析之Compaction
Hudi的Compaction作用Hudi的Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，Merge-On-Read表可减少数据摄入延迟，更新被记录到增量文件，但是随着行式数据的不断增长，为加快分析效率，需要对列式文件和行式文件的合并（compaction）生成新版本的列式文件，提升数据访问的性能。因而进行Compaction很有意义。Compactio...
作者小头像 一枚核桃
914
0
0
2021-12-28 10:49:30
914
0
0
FusionInsight MRS Hudi原理解析之Clustering
什么是Hudi的Clustering即数据布局，该服务可重新组织数据以提高查询性能，也不会影响摄取速度。Hudi的Clustering架构Hudi通过其写入客户端API提供了不同的操作，如insert/upsert/bulk_insert来将数据写入Hudi表。为了能够在文件大小和入湖速度之间进行权衡，Hudi提供了一个hoodie.parquet.small.file.limit配置来设置...
作者小头像 一枚核桃
858
0
0
2021-12-28 09:50:32
858
0
0
FusionInsight MRS Hudi原理解析之Metadata Table
Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS的数据集上提供了插入更新和增量拉取的流原语。
作者小头像 一枚核桃
1038
0
0
2021-12-28 09:43:30
999+
0
0
FusionInsight Spark支持JDBCServer的多实例特性介绍
基于社区已有的JDBCServer基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的JDBCServer服务。
作者小头像 一枚核桃
2412
0
0
2021-11-30 15:05:42
999+
0
0
FusionInsight Loader基本原理
Loader是在开源Sqoop组件的基础上进行了一些扩展，实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。
作者小头像 一枚核桃
2049
0
0
2021-11-30 14:49:32
999+
0
0
FusionInsight MRS HDFS组件数据存储策略配置指导
操作场景默认情况下，HDFS NameNode自动选择DataNode保存数据的副本。在实际业务中，可能存在以下场景：DataNode上可能存在不同的存储设备，数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同，数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器，关键数据需要保存在具有高度可靠性的机架组中。对...
作者小头像 一枚核桃
1227
0
0
2021-10-29 11:04:35
999+
0
0
FusionInsight MRS透明加密方案
概述传统大数据集群中，用户数据明文保存在HDFS中，集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据。FusionInsight MRS引入了Hadoop KMS服务并进行增强，通过对接第三方KMS，可实现数据的透明加密，保障用户数据安全。HDFS支持透明加密，Hive、HBase等在HDFS保存数据的上层组件也将通过HDFS加密保护，加密密钥通...
作者小头像 一枚核桃
1416
0
0
2021-10-29 09:15:24
999+
0
0
FusionInsight MRS的自研超级调度器Superior Scheduler原理简介
Superior Scheduler是一个专门为Hadoop YARN分布式资源管理系统设计的调度引擎，是针对企业客户融合资源池，多租户的业务诉求而设计的高性能企业级调度器。Superior Scheduler可实现开源调度器、Fair Scheduler以及Capacity Scheduler的所有功能。另外，相较于开源调度器，Superior Scheduler在企业级多租户调度策略、租...
作者小头像 一枚核桃
2310
0
0
2021-09-30 09:15:58
999+
0
0
总条数：21
  • 1
  • 2
  • 3
到第 页

上滑加载中

https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注 私信