大数据Kudu(四):Kudu集群搭建
【摘要】 Kudu集群搭建一、kudu 安装包Kudu官网没有提供好编译好的Kudu安装包,我们可以下载源码进行编译获取安装包,这里为了方便我们直接使用Cloudera 提供的CDH版本kudu安装包:centos7下载地址:http://archive.cloudera.com/kudu/redhat/7/x86_64/kudu/5/RPMS/x86_64/下载对应如下几个rpm安装包即可:kudu...
Kudu集群搭建
一、kudu 安装包
Kudu官网没有提供好编译好的Kudu安装包,我们可以下载源码进行编译获取安装包,这里为了方便我们直接使用Cloudera 提供的CDH版本kudu安装包:
- centos7下载地址:
http://archive.cloudera.com/kudu/redhat/7/x86_64/kudu/5/RPMS/x86_64/
下载对应如下几个rpm安装包即可:
kudu-1.4.0+cdh5.12.2***.x86_64.rpm
kudu-master-1.4.0+cdh5.12.2***.x86_64.rpm
kudu-tserver-1.4.0+cdh5.12.2***.x86_64.rpm
kudu-client0-1.4.0+cdh5.12.2***.x86_64.rpm
kudu-client-devel-1.4.0+cdh5.12.2***.x86_64.rpm
此外,我们也可以在yum中配置cloudera yum源来使用yum方式安装Kudu,或者直接基于Cloudera Manager平台安装管理Kudu,需要注意的是基于Cloudera managera安装则需要Cloudera Manager 5.4.3或更高版本。
二、节点规划及安装
安装Kudu使用的Linux系统需要至少是Centos6及以上,这里选择Centos7安装,以下是节点角色划分:
节点名称 |
节点ip |
节点角色 |
---|---|---|
node1 |
192.168.179.4 |
Master Server,Tablet Server |
node2 |
192.168.179.5 |
Master Server,Tablet Server |
node3 |
192.168.179.6 |
Tablet Server |
1、首先在每个节点上传安装包
在每台节点上创建/software/kudu目录,将rpm安装包上传到此路径下。
2、在node1、node2节点上安装如下rpm安装包
rpm -ivh kudu-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-master-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-tserver-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-client0-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-client-devel-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
3、在node3节点上安装如下rpm安装包
rpm -ivh kudu-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-tserver-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-client0-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-client-devel-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
4、配置Master Server
修改node1、node2节点/etc/default/kudu-master文件,配置Master Server绑定的IP为对应的节点:
#在node1节点配置如下:
export FLAGS_log_dir=/var/log/kudu
export FLAGS_rpc_bind_addresses=node1:7051
#在node2节点配置如下:
export FLAGS_log_dir=/var/log/kudu
export FLAGS_rpc_bind_addresses=node2:7051
5、配置Tablet Server
修改node1、node2、node3节点/etc/default/kudu-tserver文件,配置Tablet Server绑定的IP为对应的节点:
#在node1节点配置如下:
export FLAGS_log_dir=/var/log/kudu
export FLAGS_rpc_bind_addresses=node1:7050
#在node2节点配置如下:
export FLAGS_log_dir=/var/log/kudu
export FLAGS_rpc_bind_addresses=node2:7050
#在node3节点配置如下:
export FLAGS_log_dir=/var/log/kudu
export FLAGS_rpc_bind_addresses=node3:7050
6、Master节点配置所有Master Server
在node1、node2 Master节点修改/etc/kudu/conf/master.gflagfile文件,在文件最后配置Master Server节点:
--fromenv=rpc_bind_addresses
--fromenv=log_dir
--fs_wal_dir=/var/lib/kudu/master
--fs_data_dirs=/var/lib/kudu/master #数据存储路径
--master_addresses=node1:7051,node2:7051 #配置Master Server
7、Server节点配置所有Master Server
在node1、node2、node3节点上修改/etc/kudu/conf/tserver.gflagfile文件,在文件最后配置Master Server节点:
--fromenv=rpc_bind_addresses
--fromenv=log_dir
--fs_wal_dir=/var/lib/kudu/tserver
--fs_data_dirs=/var/lib/kudu/tserver #数据存储路径
--tserver_master_addrs=node1:7051,node2:7051 #配置Master Server
三、Kudu集群启动及停止
1、启动Kudu
在每台Master Server节点上启动master:
service kudu-master start
在每台Tablet Server 节点上启动tserver:
service kudu-tserver start
2、检查kudu是否启动成功
在每台节点可以执行“ps aux|grep kudu”来查看对应的Kudu进程。如果启动Kudu出错或者没有对应的Kudu进程,可以在/var/log/kudu目录下查看日志。
3、访问Kudu WebUI页面
Kudu启动成功后,可以通过访问http://Master Server IP:8051来访问Kudu WebUI。Master Server 默认的WebUI端口为8051。这里访问任意的master节点都可以访问WebUI:

可以点击“Masters”标签查看Leader Master信息:

可以点击“Tablet Server”查看Tablet Server信息:

4、停止Kudu
在每台Master Server节点上停止master:
service kudu-master stop
在每台Tablet Server 节点上停止tserver:
service kudu-tserver stop
在每台Tablet Server 节点上停止tserver:
service kudu-tserver stop
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论(0)