MRS-Flink1.12使用scala-shell对接yarn
1.将客户端安装节点的业务IP和Master节点IP添加到配置文件“/opt/hadoopclient/Flink/flink/conf/flink-conf.yaml”中的“jobmanager.web.access-control-allow-origin”和“jobmanager.web.allow-access-address”配置项中,IP地址之间使用英文逗号分隔。
jobmanager.web.access-control-allow-origin: xx.xx.xxx.xxx,xx.xx.xxx.xxx,xx.xx.xxx.xxx
jobmanager.web.allow-access-address: xx.xx.xxx.xxx,xx.xx.xxx.xxx,xx.xx.xxx.xxx
2.配置安全认证,在“/opt/hadoopclient/Flink/flink/conf/flink-conf.yaml”配置文件中的对应配置添加keytab路径以及用户名。
security.kerberos.login.keytab: <user.keytab文件路径>
security.kerberos.login.principal: <用户名>
3.在Flink的客户端bin目录下,执行如下命令进行安全加固,并设置一个用于提交作业的密码。
cd /opt/hadoopclient/Flink/flink/bin
sh generate_keystore.sh
该脚本会自动替换“/opt/hadoopclient/Flink/flink/conf/flink-conf.yaml”中关于SSL的值。
4.查看flink-conf.yaml中是否生成了security.cookie的值(一串字符串)
5.进入manager页面,flink集群配置中所有ssl的配置改成false,重启服务。
6.bin/start-scala-shell.sh yarn -s 1 进入
- 点赞
- 收藏
- 关注作者
评论(0)