Flink伪分布式环境搭建及应用,Standlong(开发测试)

举报
chad_chang 发表于 2022/10/27 16:41:39 2022/10/27
【摘要】 🍬博主介绍👨‍🎓 博主简介:大数据高级开发工程师、CSDN大数据领域新星创作者、阿里云专家博主✨主攻领域:【大数据】【java】【python】【面试分析】 一、 架构图Flink程序需要提交程序给 JobClientJobClient 将作业提交给 JobManangerJobManager负责协调资源分配和作业执行. 资源分配完成后, 任务将提交给对应的TaskManagerTas...

🍬博主介绍
👨‍🎓 博主简介:大数据高级开发工程师、CSDN大数据领域新星创作者、阿里云专家博主
✨主攻领域:【大数据】【java】【python】【面试分析】


一、 架构图

在这里插入图片描述

    1. Flink程序需要提交程序给 JobClient
    1. JobClient 将作业提交给 JobMananger
    1. JobManager负责协调资源分配和作业执行. 资源分配完成后, 任务将提交给对应的TaskManager
    1. TaskManager 启动一个线程开始执行. TaskManager会向JobManager报告状态更改. 例如开始执行, 正在进行或已完成.
    1. 作业完成后, 结果将发送回客户端. (JobClient)

Standlong 模式Flink的各个角色都是独立进程.

二、环境准备

  • jdk1.8 及以上 [配置 JAVA_HOME环境变量]
  • SSH免密码登录 [集群内节点之间免密码登录]

三、下载安装包

https://archive.apache.org/dist/flink/flink-1.14.0/flink-1.14.0-bin-scala_2.12.tgz

四、 服务器规划

角色 Master Slave
服务器 node1 node1

五、 安装步骤

1.创建统一工作目录

mkdir -p /export/server   # 软件安装路径
mkdir -p /export/software # 数据存储路径
mkdir -p /export/data     #  安装包存放路径

2. 下载 flink 安装包

https://archive.apache.org/dist/flink/flink-1.14.0/flink-1.14.0-bin-scala_2.12.tgz

3. 上传Flink压缩包到指定目录

/export/software

4. 解压缩flink到 /export/server 目录

cd /export/software/
tar -zxf flink-1.14.0-bin-scala_2.12.tgz  -C /export/server/
cd /export/server/
ll | grep flink

5. 改名或创建软链接:方便后期升级

ln -s /export/server/flink-1.14.0/ /export/server/flink
cd /export/server/ && ll | grep flink

六、flink初体验(使用)

1. 启动Flink

cd /export/server/flink
./bin/start-cluster.sh

2. 通过jps查看进程信息

在这里插入图片描述

3. 访问web界面

http://node1:8081

在这里插入图片描述

4. 官网提供案例的位置

ll /export/server/flink/examples/

5. 运行官方案例

cd /export/server/flink
bin/flink run examples/batch/WordCount.jar

6. 在浏览器查看job详情

在这里插入图片描述
点击 job, 就可以查看详情
在这里插入图片描述

7. 查看job日志信息

ll /export/server/flink/log
**** client****.log 是客户端日志
**** standalonesession****.log 是主节点日志
**** taskexecutor****.log 是从节点日志

1.3.6.2.13.关闭flink

cd /export/server/flink
bin/stop-cluster.sh
jps
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。