Gorm 读写分离

写在前面

在gorm v2版本中，我们可以看到已经支持读写分离，那读写分离是基于主从复制的，所以我们要先配置mysql的主从复制

1. 为什么需要主从复制？

• 在业务复杂的系统中，有这么一个情景：如果有一句sql语句需要锁表，导致暂时不能使用读的服务，那么就很影响运行中的业务。使用主从复制，让主库负责写，从库负责读，这样，即使主库出现了锁表的情景，通过读从库也可以保证业务的正常运作。

• 做数据的热备

• 业务量越来越大，I/O访问频率过高，单机无法满足，此时做多库的存储，降低磁盘I/O访问的频率，提高单个机器的I/O性能。

2. 什么是主从复制？

MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。

MySQL 默认采用异步复制方式，这样从节点不用一直访问主服务器来更新自己的数据，数据的更新可以在远程连接上进行，从节点可以复制主数据库中所有的数据库或者特定的数据库，或者特定的表。

3. 原理

• master服务器将数据的改变记录二进制binlog日志，当master上的数据发生改变时，则将其改变写入二进制日志中。
• slave服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变，如果发生改变，则开始一个I/OThread请求master二进制事件。
• 同时主节点为每个I/O线程启动一个dump线程，用于向其发送二进制事件，并保存至从节点本地的中继日志中。
• 从节点将启动SQL线程从中继日志中读取二进制日志，在本地重放，使得其数据和主节点的保持一致。
• 最后I/OThread和SQLThread将进入睡眠状态，等待下一次被唤醒。

总结：

• 从库生成两个线程,一个I/O线程,一个SQL线程，一定要保证这两个是开启的状态。
• I/O线程会去请求主库的binlog，并将得到的binlog写到本地的relay-log(中继日志)文件中。
• 主库会生成一个log dump线程，用来给从库I/O线程传binlog。
• SQL线程，会读取relay log文件中的日志，并解析成sql语句逐一执行。

4. 配置

4.1 准备两台服务器(已经安装了MySQL)

master:xxx
slave:xxx

4.2 修改配置

两台机子同时创建一个同名的数据库。

create database test_db charset=utf8mb4;

4.2.1 master 主服务器

• 找到 my.cnf

sudo vim /etc/mysql/my.cnf

• 添加这些信息

#在mysqld模块中添加如下配置信息
[mysqld]
log-bin=master-bin #二进制文件名称
binlog-format=ROW  #二进制日志格式，有row、statement、mixed三种格式，row指的是把改变的内容复制过去，而不是把命令在从服务器上执行一遍，statement指的是在主服务器上执行的SQL语句，在从服务器上执行同样的语句。MySQL默认采用基于语句的复制，效率比较高。mixed指的是默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。
server-id=1            # 要求各个服务器的id必须不一样
binlog-do-db=test_db   # 同步的数据库名称

• 配置从服务器登录主服务器的账号授权

grant replication slave on *.* to 'root'@'%' identified by 'root';

• 刷新权限

flush privileges;

• 重启master服务器

service mysql restart

• 在mysql中查看master的status

show master stataus

4.2.2 slave 从服务器

• 找到 my.cnf文件

• 配置信息

这个server-id记得一定要和主服务器的不一样！

• 重启mysql服务

service mysqld restart

• 连接主服务器

change master to master_host='主服务地址',master_user='root',master_password='root',master_port=3306,master_log_file='master-bin.000001',master_log_pos=154;

这个master_log_file就是上面那个show master stataus的信息。
这个master_log_pos就是上面那个show master stataus的信息。

• 启动slave

start slave

• 查看slave

show slave status \G(注意没有分号)

当我们看着这两个都是YES的时候就可以了，注意不能是其他CONNECTING

• 停止slave

stop slave

4.2.3 验证

• master 主服务器

• slave 子服务器

两个服务器都是空的状态

那首先我们可以先在master节点上进行插入一条语句

然后在slave节点上查看

于是我们看到已经实现主从复制了。

5. 设置连接mysql

• 构建mysql连接集群

var Db1Dsn = "root:root@tcp(localhost:3306)/db_ex1?charset=utf8&parseTime=true"
var Db2Dsn = "root:root@tcp(localhost:3306)/db_ex2?charset=utf8&parseTime=true"
var Db3Dsn = "root:root@tcp(localhost:3306)/db_ex3?charset=utf8&parseTime=true"
var Db4Dsn = "root:root@tcp(localhost:3306)/db_ex4?charset=utf8&parseTime=true"

• 主数据库连接

var DB, _ = gorm.Open(mysql.Open(Db1Dsn), &gorm.Config{} // `db1` 作为 sources（DB 的默认连接）

• 定义数据库模型

type User struct { // 用户
	Name string
	Sex string
}

type Address struct { // 地址
	Local string
	Number string
}

type Product struct { // 产品
	Title string
	ImgUrl string
}

type UserStruct struct { // 用户
	ID uint
	Age uint
}

6. mysql数据库的主从配置(读为主，写为从)

注意：一定要在这步骤之前确保各个数据库之间都已经达到主从复制的状态

• 数据库的迁移连接

	_ = DB.Set("gorm:table_options", "charset=utf8mb4").
		AutoMigrate(&User{},&Address{},&Product{}, &Pet{}, &Order{}, &UserStruct)

• 配置数据库的读写(哪个数据库进行读，哪个数据库进行写)

_ = DB.Use(dbresolver.
		Register(dbresolver.Config{
		// `db2` 作为 sources，`db3`、`db4` 作为 replicas
		Sources:  []gorm.Dialector{mysql.Open(Db2Dsn)},
		Replicas: []gorm.Dialector{mysql.Open(Db3Dsn), mysql.Open(Db4Dsn)},
		Policy: dbresolver.RandomPolicy{},		// sources/replicas 负载均衡策略
	}).
		Register(dbresolver.Config{
		// `db1` 作为 sources（DB 的默认连接），对于 `User`、`Address` 使用 `db5` 作为 replicas
		Replicas: []gorm.Dialector{mysql.Open(Db5Dsn)},
	}, &User{}, &Address{}).
		Register(dbresolver.Config{
		// `db6`、`db7` 作为 sources，对于 `orders`、`Product` 使用 `db8` 作为 replicas
		Sources:  []gorm.Dialector{mysql.Open(Db6Dsn), mysql.Open(Db7Dsn)},
		Replicas: []gorm.Dialector{mysql.Open(Db8Dsn)},
	}, "orders", &Product{}))

sources：主源，主要用来进行写操作。

replicas：次源，主要用来进行读操作。

7. 读写验证

这个我们配置的时候就是配置userStruct是通过db3/db4进行读取，db2进行写的

	var userStruct UserStruct
	// Global Resolver 示例
	db.Model(&UserStruct{}).Find(&userStruct,1) // replicas `db3`/`db4`
	userStruct.Age=24
	db.Save(&userStruct) // sources `db2`

• db4

• db3

• db2

8. 总结

1. 当我们是读操作的时候，grom会把我们的读操作作用于replicas中。
2. 当我们涉及写操作，比如create,update之类的会从source中操作。
3. 如果没有指定特殊的表进行特殊的操作的话，是默认在没有特殊规定的数据库进行读或是写，比如上面例子的userStruct是在db2和db3/db4这三个数据库进行操作，而不是在其他固定写其他表的db5，db8和db6/db7数据库。