四十三、centos安装storm(集群模式)

举报
托马斯-酷涛 发表于 2022/05/26 01:22:06 2022/05/26
【摘要】 环境准备: centos zookeeper正常运行 storm-1.2.4 环境搭建:         一、下载安装:                 1、storm官方下载地址: Apache Dow...

环境准备:

centos

zookeeper正常运行

storm-1.2.4

环境搭建:

        一、下载安装:

                1、storm官方下载地址:

Apache Downloadshttps://www.apache.org/dyn/closer.lua/storm/apache-storm-1.2.4/apache-storm-1.2.4.tar.gz

                2、解压:

tar -zxvf apache-storm-1.2.4.tar.gz -C /home/

 

                 3、重命名:

mv apache-storm-1.2.4 storm

 

        二、环境变量

vim /etc/profile
 

        使环境变量立即生效:

source /etc/profile
 

        三、修改配置文件

                        1、 修改  ${STORM_HOME}/conf/storm.yaml文件:

vim storm.yaml
 

        注:该文件可以看到全部为注释行,改为如下配置

# Zookeeper集群的主机列表
storm.zookeeper.servers:
     - "master"
     - "slave1"
     - "slave2"

# Nimbus的节点列表
nimbus.seeds: ["master", "slave1"]

# Nimbus和Supervisor需要使用本地磁盘上来存储少量状态(如jar包,配置文件等)
storm.local.dir: "/home/storm/data"

#workers进程的端口,每个worker进程会使用一个端口来接收消息
supervisor.slots.ports:
     - 6700
     - 6701


#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "master"
 

#web页面端口号

ui.port: 9999
 

   注:supervisor.slots.ports 参数用来配置 workers 进程接收消息的端口,默认每个 supervisor 节点上会启动 4 个 worker,当然你也可以按照自己的需要和服务器性能进行设置,假设只想启动 2 个 worker 的话,此处配置 2 个端口即可

        注:文件内容的格式一定要注意,冒号后有空格,格式错误,进程是启动不了的

        四、文件分发

scp -r /home/storm/ slave1:/home/

 
scp -r /home/storm/ slave2:/home/

 

        五、启动Zookeeper集群

bin/zkServer.sh start
 
bin/zkServer.sh status

 

 

六、启动Storm集群

         在master和slave1节点上进入${STORM_HOME}/bin 目录下:

        1、启动master和slave1的主节点 nimbus服务(注意上面的配置文件):

nohup sh storm nimbus &
 

        2、启动从节点 supervisor服务:

nohup sh storm supervisor &
 

        3、启动UI界面 ui:

nohup sh storm ui &
 

        4、启动日志查看服务 logviewer:

nohup sh storm logviewer &
 

 

 

        在slave2节点上只需要启动 supervisor 服务和 logviewer 服务:

        1、启动从节点 supervisor:

nohup sh storm supervisor &
 

        2、启动日志查看服务 logviewer:

nohup sh storm logviewer &
 

七、监控各节点的状态(web端):

        浏览器输入:

master:9999
 

        注:这里使用的端口号与 ${STORM_HOME}/conf/storm.yaml配置文件中的相同

 

八、停止进程

        注:对于storm的进程只有使用kill命令来结束进程这一种方式

如下示范:

 

        注:jps命令后为: 进程号 + 进程名称

centos安装storm(集群模式)完成


文章来源: tuomasi.blog.csdn.net,作者:托马斯-酷涛,版权归原作者所有,如需转载,请联系作者。

原文链接:tuomasi.blog.csdn.net/article/details/121187833

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。