启用LVM特性的MRS Kafka集群磁盘在线扩容,业务不中断

举报
司靖 发表于 2020/06/11 21:07:14 2020/06/11
【摘要】 MRS 1.8.5及以后的版本,都支持在流式节点上开启LVM特性。LVM特性能有效防止kafka多磁盘场景下topic中因为数据不均导致某个partition流量特别大进而磁盘被写爆。同时开启LVM以后可以做到不重启系统、服务或组件的情况下实现磁盘平滑扩容,保证业务的连续性。下面我就介绍一下如何在开启了LVM的节点上实现Kafka的磁盘扩容操作。1. 购买云硬盘并挂载。a) ...

MRS 1.8.5及以后的版本,都支持在流式节点上开启LVM特性。

LVM特性能有效防止kafka多磁盘场景下topic中因为数据不均导致某个partition流量特别大进而磁盘被写爆。

同时开启LVM以后可以做到不重启系统、服务或组件的情况下实现磁盘平滑扩容,保证业务的连续性。


下面我就介绍一下如何在开启了LVM的节点上实现Kafka的磁盘扩容操作。


1.        购买云硬盘并挂载。

a)    登录管理控制台。

b)     选择“存储 > 云硬盘”。进入云硬盘页面。

c)     单击“购买磁盘”,创建云硬盘。关于创建云硬盘的详细操作,请参见云硬盘用户指南

d)     在云硬盘列表,找到新购买的云硬盘,单击“挂载”。

e)     选择云硬盘待挂载的云服务器,该云服务器必须与云硬盘位于同一个可用分区,通过下拉列表选择“挂载点”。

2.        以root用户登录弹性云服务器。

3.        执行如下命令,查看磁盘并记录新添加设备名称。如“/dev/vdc”

fdisk -l | grep /dev/vd | grep -v vda

b1.png

4.        执行如下命令,将新挂载的磁盘创建为物理卷。

pvcreate /dev/vdc

b2.png

5.        执行如下命令,查询卷组名称。

vgdisplay

b3.png

6.        执行如下命令,添加物理卷到卷组中,对卷组进行扩容。

vgextend vg_group /dev/vdc

b4.png

7.        执行如下命令,查询逻辑卷路径

lvdisplay

b5.png

8.        执行如下命令,扩展逻辑卷的容量

lvextend -L +99GB /dev/mapper/vg_group-core

b6.png

9.        执行如下命令,扩展文件系统的容量。到此,单个kafka节点的磁盘扩容完成。

resize2fs /dev/mapper/vg_group-core

b7.png

 10.        重复以上步骤,对所有kafka节点进行磁盘扩容。


注意

1. 使用LVM特性时,卷组中的一块磁盘故障将影响整个卷组的数据访问,因此创建topic时务必配置多副本

2. MRS创建的LVM存储模式为Linear模式,不管卷组中配置了几块磁盘,同一时间都只有一块磁盘在负责写入,写入性能会受限。因此使用LVM前需要评估好kafka单节点的写入流量

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。