Flink对接ES常见问题
【摘要】 1.1.1 开启checkpoint并且自定义目录后任务运行24小时后checkpoint全部失败问题现象 Flink选择使用对接ES的任务在运行一段时间后checkpoint全部失败，而对接kafka能够正常运行。可能原因ES的认证模式跟其它场景不同，在运行一段时间后，票据信息会超时需要重新认证，此时ES中缓存的票据信息没有更新，导致跟HDFS中指定的目录无法正常认证。解决方案1.需要在...
1.1.1 开启checkpoint并且自定义目录后任务运行24小时后checkpoint全部失败
- 问题现象
Flink选择使用对接ES的任务在运行一段时间后checkpoint全部失败，而对接kafka能够正常运行。
- 可能原因
ES的认证模式跟其它场景不同，在运行一段时间后，票据信息会超时需要重新认证，此时ES中缓存的票据信息没有更新，导致跟HDFS中指定的目录无法正常认证。
- 解决方案
1.需要在flink的 flink-conf.ymal中加入以下参数：-Djavax.security.auth.useSubjectCredsOnly=true
2.使用checkpoint后使用默认的存储路径
【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）