MRS-Flink1.12使用scala-shell对接yarn

举报
wulimeng 发表于 2024/04/02 15:28:49 2024/04/02
【摘要】 1.将客户端安装节点的业务IP和Master节点IP添加到配置文件“/opt/hadoopclient/Flink/flink/conf/flink-conf.yaml”中的“jobmanager.web.access-control-allow-origin”和“jobmanager.web.allow-access-address”配置项中,IP地址之间使用英文逗号分隔。jobmanag...

1.将客户端安装节点的业务IPMaster节点IP添加到配置文件“/opt/hadoopclient/Flink/flink/conf/flink-conf.yaml”中的“jobmanager.web.access-control-allow-origin”“jobmanager.web.allow-access-address”配置项中,IP地址之间使用英文逗号分隔。

jobmanager.web.access-control-allow-origin: xx.xx.xxx.xxx,xx.xx.xxx.xxx,xx.xx.xxx.xxx

jobmanager.web.allow-access-address: xx.xx.xxx.xxx,xx.xx.xxx.xxx,xx.xx.xxx.xxx

2.配置安全认证,在“/opt/hadoopclient/Flink/flink/conf/flink-conf.yaml”配置文件中的对应配置添加keytab路径以及用户名。

security.kerberos.login.keytab: <user.keytab文件路径>

security.kerberos.login.principal: <用户名>

3.Flink的客户端bin目录下,执行如下命令进行安全加固,并设置一个用于提交作业的密码。

cd /opt/hadoopclient/Flink/flink/bin

sh generate_keystore.sh

该脚本会自动替换“/opt/hadoopclient/Flink/flink/conf/flink-conf.yaml”中关于SSL的值。

4.查看flink-conf.yaml中是否生成了security.cookie的值(一串字符串)

5.进入manager页面,flink集群配置中所有ssl的配置改成false,重启服务。

6.bin/start-scala-shell.sh yarn -s 1 进入

123.png

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。