【云驻共创】如何保持mysql和redis中数据的一致性？

如何保持mysql和redis中数据的一致性？

在软件开发过程中，为了提高性能，减小数据库的压力，增加缓存机制是一种常用的方式，哪如果保证redis与mysql的数据一致性是一个常常讨论的问题，可以采用通过编写代码实现，也可以通过中间件实现，这篇文章主要是通过bifrost开源中间件项目，来说明如何保证mysql和redis中数据的一致性

1、 数据一致性是什么，为什么会产生不一致

数据一致性一般出现在需要持久化两个及两个以上的存储媒介上，怎么保持多处数据是一致的，由于时差、网络及意外的情况存在，可能会产生多个存储媒介上的数据不一致

2、 面对不一致性，该怎么解决解决方案

解决数据一致性，目前一般采用一下几种方式：

  1） 业务中通过程序双写，但需要考虑如何效验多处数据的一致性问题，或者通过记录再确认是否最终一致性

  2） 通过中间件实现，目前一般通过binlog实现，也是目前通用的方式，比如bifrost就是实现这样功能的开源中间件

  3） 通过Canal中间件实现，但有一定的开发量

下面通过bifrost中间件实现Mysql与Redis的数据同步，来演示如何实施

一、版本说明

• 如果Mysql本身是主从结构，建议在从库上设置

• 本文档前提默认是已经完成Mysql安装

• 功能部署环境及测试顺序

二、 MySQL设置

1. my.cnf需要设置的配置项

log-bin= mysql-bin
log_slave_updates=1
binlog_format=row

– log-bin 需要启用二进制日志

– binlog_format 复制格式

– log_slave_updates 如果是从数据库必须设置&不设置会造成数据不同步，主数据库不必设置

三、 bifrost安装及设置

1. 从https://github.com/brokercap/Bifrost/releases 下载，放到服务器合适的目录

2. 然后通过下面命令解压

tar -zxvf bifrost_v1.7.4-release_Linux-amd64-bin.tar.gz

3. 修改Bifrost.ini配置项

[user]
#登录账号
Bifrost=iacl
BifrostMonitor=iacl

[groups]
#administrator 管理人员可以添加删除等操作
#monitor 只能查看数据
Bifrost=administrator
BifrostMonitor=monitor

[Bifrostd]
#访问端口
listen=0.0.0.0:31036

#是否支持动态加载插件，只有Linux 有效，其他平台无效，true | false
dynamic_plugin=true

#是否支持https
tls=false

#server.key 及 server.crt 相对于 Bifrost 的路径，也可以填绝对路径
#tls_key_file=./etc/server.key
#tls_crt_file=./etc/server.crt

#是否开启文件队列功能 true|false
file_queue_usable=true

#统计是否启文件队列的时间，单位毫秒
file_queue_usable_count_time_diff=5000

#file_queue_usable_count_time_diff 时间内内存队列被挤满的次数
file_queue_usable_count=10

#在没有数据的情况下,间隔多久提交一次插件,单位 秒
plugin_commit_timeout=5

#在同步出错的情况下,每2次重试之后 间隔多久再重试 ,单位 秒
plugin_sync_retry_time=5

#[PerformanceTesting]
#性能测试配置，用于指定哪一个数据源，从哪一个位点开始
#mysqlLocalTest=mysql-bin.000016,11857

– [user] 登录账号，用户名=密码 格式

– [groups]用户角色，前面是[user]中的用户名，后面是角色，有administrator、monitor 角色供选择

– listen 服务监听端口

– tls 是否启用https访问，如果是内网建议不启用

4. 常用管理命令

# 启动服务
./Bifrost-server start
# 停止服务
./Bifrost-server stop

四、管理配置

1. 访问管理端ip:端口号，这里的端口号是指在上面的配置文件中listen配置项设置的端口号

2. 输入用户名及密码即可进入管理，设置要配置的Mysql数据源及目标源Redis，账号修改可以直接在配置文件中修改即可

– 管理员账号及Bifrost及密码iacl

– 监控账号BifrostMonitor及密码iacl

1. 进入后看板如下

1. 主要操作如下几个栏目

– 数据源：设置MySql链接配置

– 目标库：设置需要同步的目前数据源链接配置

– 全量任务：配置一次性任务，一般新任务初始化时全量同步一次，后面增量同步

2. 添加数据源如下设置

– ServerKey：唯一名称

– Plugin：选择插件类型，一般用Redis

– ConnUri：数据源&目标源地址，注意链接书写格式

1. 任务启动

– 可以操作start、close 开启、停止任务

– 点击最新位置可以查看当前同步的binlog位置，便于分析是否同步状态正常

2. 其它注意事项

– 建议在从数据库设置，如果有内网地址，尽量用内网地址链接，可以新建一个独立的Mysql账号做数据同步使用，便于发生问题排查

– 涉及到多任务，尽量使用不同的通道进行任务执行

本文参与华为云社区【内容共创】活动第22期。

任务36：如何保持mysql和redis中数据的一致性？