Lv.3
田逸嘉
更多个人资料
170
成长值
5
关注
0
粉丝
+ 关注
私信
个人介绍
这个人很懒,什么都没有留下
感兴趣或擅长的领域
大数据、数据库
个人勋章
TA还没获得勋章~
成长雷达
170
0
0
0
0
个人资料
个人介绍
这个人很懒,什么都没有留下
感兴趣或擅长的领域
大数据、数据库
达成规则
以上满足
项可达成此勋章
博客
关注
粉丝
论坛
全部时间
全部时间
最近三天
最近一周
最近一月
全部
暂无专栏分类
任务报错——报表不存在
1、 t_withdraw_account_f_h作业报错,报[sd_crm_data_board.t_withdraw_account] does not exist;2、 审计日志排查表问题,发现表一直存在,创建时间为2022-04-19;3、需要排查CDM侧问题;
田逸嘉
2023-10-16 09:54:28
5355
0
0
2023-10-16 09:54:28
999+
0
0
CDM任务报错,重跑后成功。
1、CDM任务报错,报错信息如下:ERRORcdm-job-submit-pool19[org.apache.sqoop.utils.JdbcSandbox:62]occur exception, actual is :org.postgresql.util.PSQLException: An I/O ERROR occured while sending to the bac2、后台排查集...
云数据迁移 CDM
田逸嘉
2023-10-16 09:50:45
5827
1
0
2023-10-16 09:50:45
999+
1
0
单SQL查询慢
【问题根因】 查询SQL受IO影响,执行耗时过长,IO正常时该SQL执行耗时在1min以内(行存200G大表查询)【规避措施】 已部署IOtop监控;【问题描述】 单SQL偶发查询慢【当前进展】1、一线反馈SQL慢,截图显示客户端345秒未出数据;2、后台登录,查询同样SQL,打印performance 照样慢;3、后台查询无等待语句,队列无阻塞;4、查询业务表信息,单表207G,分布无倾斜...
SQL
田逸嘉
2023-10-11 16:18:17
5450
0
0
2023-10-11 16:18:17
999+
0
0
DWS——任务积压
【问题描述】 4条语句持锁,导致其他任务积压。【规避措施】建议配置ELB.【定位过程】 1、查看视图,发现50+语句处于 acquire lock状态,初步定位锁导致整体业务阻塞;2、杀掉业务持锁语句后,业务恢复正常;3、集群未配ELB,建议配置ELB.
弹性负载均衡 ELB
田逸嘉
2023-10-11 16:16:30
5595
0
0
2023-10-11 16:16:30
999+
0
0
SQL优化——查询复制表慢
【问题描述】 CDM任务查询慢,后台显示卡在DWS中元数据查询操作【问题根因】join_collapse_limit参数过小(为4,默认8),超过join_collapse_limit数的系统表在join时无法生成最优计划【规避措施】调整join_collapse_limit 4 -> 8【定位过程】1、CDM任务查询慢,打印performance发现与本地环境生成的explain不一致,显...
SQL
田逸嘉
2023-10-11 16:08:29
5445
0
0
2023-10-11 16:08:29
999+
0
0
磁盘100%
【问题描述】分析集群(480节点,80011)磁盘使用率达90%造成只读,需要删除大表。***集群(60节点云上8112管控面803)磁盘使用率100%【定位过程】1、API集群单节点存储100%;2、集群降级状态;3、数据倾斜比较严重,1(1)、第一个100%的目录里面有两个DN实例,一个9.2T和第二个100%的目录里面有两个DN,一个9.6T互为主备;(2).第一个100%的目录里面另...
API
田逸嘉
2023-10-11 16:07:10
5495
0
0
2023-10-11 16:07:10
999+
0
0
HCS821节点心跳中断
【问题根因】 磁盘掉了导致欧拉检测不到节点IP【定位过程】1、运维界面显示心跳中断,后端显示无IP地址;2、事分析为系统掉盘导致;3、修改配置系统参数后,重起节点,心跳恢复
田逸嘉
2023-10-11 16:05:15
5460
0
0
2023-10-11 16:05:15
999+
0
0
DWS是否支持外键
1.DWS是基于pg的自研数据库,后续不会再升级pg内核,pg新版本的新特性可以提需求走RAT管道。2.DWS是OLAP类型分布式数据库,外键约束维护成本太高,不适合使用,当前无平替方案,可参考产品文档触发器功能看是否可以满足业务需求。如必须要外键功能,可提需求走RAT管道裁决。
田逸嘉
2023-10-11 16:03:50
5452
0
0
2023-10-11 16:03:50
999+
0
0
IO高——查询超大系统视图导致IO高
【问题根因】 topsql_relation_time为90天,业务语句不断调用系统视图gs_wlm_session_info,该视图有914gG数据。【规避措施】 清除视图多余数据;【定位过程】 问题的每个排查方向的排查结果1、客户大屏业务语句,CN一条语句,下发到DN 有500+并发;2、集群状态正常,无SQL积压,无排队;3、查到topsql_relation_time为90天,gs...
田逸嘉
2023-10-11 16:01:51
5334
0
0
2023-10-11 16:01:51
999+
0
0
SQL优化——单语句性能从1min劣化到20min以上
【问题根因】 之前做过hint优化,只指定了indexscan方式,没有考虑join方式,导致hash join时走了indexscan,索引扫描了12亿【规避措施】指定nestloop + indexscan的方式【定位过程】 问题的每个排查方向的排查结果1、语句出现下盘导致性能差,对比历史执行计划发生了变化2、部分表长时间未做analyze,手动analyze后执行时间优化到20min,...
SQL
田逸嘉
2023-10-11 15:59:53
5456
0
0
2023-10-11 15:59:53
999+
0
0
总条数:21
10
10
20
50
100
1
2
3
上滑加载中
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
+ 关注