磁盘100%

举报
田逸嘉 发表于 2023/10/11 16:07:10 2023/10/11
【摘要】 【问题描述】分析集群(480节点,80011)磁盘使用率达90%造成只读,需要删除大表。***集群(60节点云上8112管控面803)磁盘使用率100%【定位过程】1、API集群单节点存储100%;2、集群降级状态;3、数据倾斜比较严重,1(1)、第一个100%的目录里面有两个DN实例,一个9.2T和第二个100%的目录里面有两个DN,一个9.6T互为主备;(2).第一个100%的目录里面另...

【问题描述】分析集群(480节点,80011)磁盘使用率达90%造成只读,需要删除大表。***集群(60节点云上8112管控面803)磁盘使用率100%

【定位过程】

1、API集群单节点存储100%;

2、集群降级状态;

3、数据倾斜比较严重,1(1)、第一个100%的目录里面有两个DN实例,一个9.2T和第二个100%的目录里面有两个DN,一个9.6T互为主备;(2).第一个100%的目录里面另外还有一个5.5T的目录,第二个100%的目录里面还有一个4.8T的目录;3.9.2T和9.6T这两个DN实例目录都是base目录占用。需要清除数据,客户不让清数据,导致主备全都挂掉。

4、给集群加只读,手动挪走16G数据后,实例恢复正常;

5、客户同意删除数据,数据清理完,主DN的数据目录降到72%了,目前磁盘使用率最高85%,最低75%;

6、api集群全量build已结束,cn的只读已解除,集群恢复正常。

7. mppedw业务库的public模式下有跑批业务的大表残留,需要客户应用去清理;

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。