启用LVM特性的MRS Kafka集群磁盘在线扩容,业务不中断
MRS 1.8.5及以后的版本,都支持在流式节点上开启LVM特性。
LVM特性能有效防止kafka多磁盘场景下topic中因为数据不均导致某个partition流量特别大进而磁盘被写爆。
同时开启LVM以后可以做到不重启系统、服务或组件的情况下实现磁盘平滑扩容,保证业务的连续性。
下面我就介绍一下如何在开启了LVM的节点上实现Kafka的磁盘扩容操作。
1. 购买云硬盘并挂载。
a) 登录管理控制台。
b) 选择“存储 > 云硬盘”。进入云硬盘页面。
c) 单击“购买磁盘”,创建云硬盘。关于创建云硬盘的详细操作,请参见云硬盘用户指南。
d) 在云硬盘列表,找到新购买的云硬盘,单击“挂载”。
e) 选择云硬盘待挂载的云服务器,该云服务器必须与云硬盘位于同一个可用分区,通过下拉列表选择“挂载点”。
2. 以root用户登录弹性云服务器。
3. 执行如下命令,查看磁盘并记录新添加设备名称。如“/dev/vdc”
fdisk -l | grep /dev/vd | grep -v vda
4. 执行如下命令,将新挂载的磁盘创建为物理卷。
pvcreate /dev/vdc
5. 执行如下命令,查询卷组名称。
vgdisplay
6. 执行如下命令,添加物理卷到卷组中,对卷组进行扩容。
vgextend vg_group /dev/vdc
7. 执行如下命令,查询逻辑卷路径
lvdisplay
8. 执行如下命令,扩展逻辑卷的容量
lvextend -L +99GB /dev/mapper/vg_group-core
9. 执行如下命令,扩展文件系统的容量。到此,单个kafka节点的磁盘扩容完成。
resize2fs /dev/mapper/vg_group-core
10. 重复以上步骤,对所有kafka节点进行磁盘扩容。
注意:
1. 使用LVM特性时,卷组中的一块磁盘故障将影响整个卷组的数据访问,因此创建topic时务必配置多副本。
2. MRS创建的LVM存储模式为Linear模式,不管卷组中配置了几块磁盘,同一时间都只有一块磁盘在负责写入,写入性能会受限。因此使用LVM前需要评估好kafka单节点的写入流量。
- 点赞
- 收藏
- 关注作者
评论(0)