单语句占用存储空间超过 sql_use_spacelimit上限,导致DWS集群多次read only

举报
田逸嘉 发表于 2023/08/22 14:19:51 2023/08/22
【摘要】 1、只读阈值90%,最近 read-only 8月10日,主节点存储峰值超90%,作业失败后回滚降至79%左右;2、查看报错语句,发现一条select...intonation模式语句,该语句 use space 为110G,结合运行时间判断,问题出在这里;3、\dt gcvdata.ods_sys_04_gb32960 后发现该语句源表大小为3.648T,源表为列式存储,select 中字...

1、只读阈值90%,最近 read-only 8月10日,主节点存储峰值超90%,作业失败后回滚降至79%左右;

2、查看报错语句,发现一条select...intonation模式语句,该语句 use space 为110G,结合运行时间判断,问题出在这里;

3、\dt gcvdata.ods_sys_04_gb32960 后发现该语句源表大小为3.648T,源表为列式存储,select 中字段有一个为 text类型的JOSN格式字段,占空间较大;

【规避措施】

1、GLOBAL级别: 建议 sql_use_spacelimit =40G,temp_file_limit=20G;

2、SESSION级别: 执行大SQL时,单独 SET sql_use_spacelimit 大小;

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。