【DTSE Tech Talk 精选问答】NO.38丨快速了解数仓实时入库利器HStore表

举报
云小宅 发表于 2023/08/23 17:04:05 2023/08/23
【摘要】 面对实时入库和实时查询要求越来越高的趋势,已有的列存储无法支持并发更新入库,行存查询性能无法做到实时返回且空间压缩表现不佳。GaussDB(DWS)基于列存储格式设计和实现了全新的HStore表,同时提供高效的并发插入、更新入库,以及高性能实时查询。

面对实时入库和实时查询要求越来越高的趋势,已有的列存储无法支持并发更新入库,行存查询性能无法做到实时返回且空间压缩表现不佳。GaussDB(DWS)基于列存储格式设计和实现了全新的HStore表,同时提供高效的并发插入、更新入库,以及高性能实时查询。
观看直播:https://bbs.huaweicloud.com/live/DTT_live/202308021630.html

Q:HStore表是否支持数据筛选和过滤?

A:Hstore提供和当前列存一样全面的功能和语法支持。支持。

Q:HStore表的并发插入和更新入库对硬件资源的要求是怎样的?

A:需要预留一部分cpu资源来做后台merge。其它资源消耗与普通列存一样。

Q:HSTore的Delta表看起来有点像binlog,那么查询的时候肯定需要解析的动作,这个解析的动作对查询性能影响大么?

A:delta表上数据的解析读取对性能是有影响的,所以依赖后太autovacuum来避免数据停留delta。

Q:HStore表的数据冷热分离策略如何影响实时查询性能?

A:推荐按时间分区,实时查询与入库操作的数据不应当在冷分分区,否则会影响性能。

Q:HStore表的查询性能与数据压缩比例有关吗?

A:有。压缩率越高,解压与压缩开销越大,查询时频繁的解压数据会受到影响。

Q:HStore表的并发插入和更新入库是否支持数据的乐观锁机制?

A:不支持,同一行上会等待然后报错。乐观锁不适合锁冲突比较大的场景。

Q:HStore表的查询性能与并发查询数有关吗?

A:Hstore提供和当前列存一样全面的功能和语法支持。跟列存一样,并发会有性能提升。

Q:数据在merge到主表前,怎么保证查询的数据是正确的?

A:会解析Delta表的数据,通过内部的事务机制保证可见性。

Q:HStore表的查询性能受到哪些因素的影响?

A:与列存一样,会受到查询数据量大小、系统资源、查询计划等的影响,同时还受数据是否MERGE的影响。

Q:HStore表的并发有瓶颈吗?并发性能受哪些因素影响?

A:并发入库的性能受后台automerge效率的影响,也收到环境资源的影响。
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。