MongoDB数据库之主从复制配置实战

举报
江湖有缘 发表于 2023/12/15 14:06:22 2023/12/15
【摘要】 MongoDB数据库之主从复制配置实战

一、MongoDB介绍

1.1 MongoDB简介

MongoDB是一个开源的文档数据库,使用JSON格式存储和操作数据,具有高度灵活性和可扩展性。MongoDB的数据模型是面向文档的,这意味着它可以存储各种类型的数据,如数组、嵌套文档和二进制数据。MongoDB是一种NoSQL数据库,不需要使用传统的表格结构。MongoDB是分布式的,可以在多台服务器上部署,支持自动分片,可以实现高可用性和横向扩展。MongoDB还带有很多强大的功能,包括聚合框架、索引、MapReduce等,支持多种编程语言和多种平台。它被广泛用于Web应用程序、大数据分析和实时数据处理等领域。

1.2 MongoDB特点

  • 面向文档的数据模型:MongoDB是一种面向文档的数据库,这意味着它使用文档来存储数据,文档是一个键值对集合,是非常灵活的数据模型。
  • 分布式:MongoDB支持分布式数据存储,可以将数据分布在多个服务器上,从而实现更高的可用性和可扩展性。
  • 高性能:MongoDB支持高性能读写,能够在海量数据环境下快速响应。
  • 强大的查询语言:MongoDB支持丰富的查询语言,包括聚合管道、地理空间查询、全文搜索等,能够满足各种查询需求。
  • 灵活的数据模型:MongoDB的文档的格式非常灵活,没有固定的架构,可以按照需求进行调整。同时,支持动态添加字段和修改文档结构。
  • 可扩展性:MongoDB非常容易扩展,可以通过水平扩展的方式来增加服务器数量,以满足不断增长的数据和请求量。
  • 可视化管理工具:MongoDB提供了可视化的管理工具,如MongoDB Compass,使得管理和操作MongoDB数据库更加方便。

二、MongoDB主从复制介绍

2.1 MongoDB主从复制

MongoDB主从复制是一种数据同步机制,通过该机制可以将一个 MongoDB 实例的数据复制到其他多个实例中,以提高数据的可靠性和可用性。在主从复制中,有一个主节点(也称为主服务器),负责接收写入请求并将数据同步到从节点(也称为从服务器)。从节点只能处理读操作,而不允许写入操作。

主从复制的核心是复制集(Replica Set),它由多个 MongoDB 实例组成。一个复制集中包括一个主节点和多个从节点。主节点将写入操作同步到所有的从节点,从节点在收到主节点的更新后,将自己的数据更新为与主节点一致的状态,确保数据的一致性。

当主节点出现故障时,从节点可以接替主节点成为新的主节点,继续处理写入请求和同步数据到其他从节点。这种自动切换的机制可以保证系统的高可用性和可靠性。

主从复制还可以通过读写分离的方式提高读写性能。将读操作分发到从节点,从而减轻主节点的负载压力,提高系统的并发处理能力。MongoDB主从复制是一种可靠、高效的数据同步机制,可以帮助用户保证数据的完整性和可用性。

2.2MongoDB副本集

  • 副本集在mongodb中是是一组 mongod保持相同的数据集过程,副本集提供冗余和高可用性,并且是所有生产部署的基础。
  • 复制提供冗余并增加数据可用性,在不同数据库服务器上具有多个数据副本,复制可以提供一个级别的单一数据库服务器丢失的容错能力。
  • 副本集至少需要3个成员,可以是一主两从,也可以是一主一从一仲裁节点,如果主节点挂掉,两个从节点会重新选举,找到一个从节点,将其提升为主。

三、本次实践介绍

3.1 实践环境规划

hostname IP地址 系统版本 MongoDB版本 角色
master 192.168.3.141 centos 7.9 v5.0.21 主节点
node01 192.168.3.142 centos 7.9 v5.0.21 从节点
node02 192.168.3.143 centos 7.9 v5.0.21 从节点

3.2 本次实践简介

1.本次实践准备三台服务器,操作系统为centos7.9;
2.本次实践环境为个人测试环境,生产环境请谨慎;
3.本次实践主要配置MongoDB主从复制。

四、安装MongoDB

4.1 安装说明

  • 三台服务器都需要按照以下步骤安装MongoDB环境。4.2 配置yum仓库配置mongodb的yum仓库
vim /etc/yum.repos.d/mongodb.repo
[mongodb-org]
name=MongoDB Repository
baseurl=https://mirrors.tuna.tsinghua.edu.cn/mongodb/yum/el7/
gpgcheck=0
enabled=1

4.3 检查yum仓库状态

检查yum仓库各镜像源状态

[root@master ~]# yum repolist all |grep enable
base/7/x86_64         CentOS-7 - Base - mirrors.aliyun.com       enabled: 10,072
extras/7/x86_64       CentOS-7 - Extras - mirrors.aliyun.com     enabled:    518
mongodb-org/7         MongoDB Repository                         enabled:    337
updates/7/x86_64      CentOS-7 - Updates - mirrors.aliyun.com    enabled:  5,176

4.4 安装MongoDB

直接使用yum安装mongodb

yum install -y mongodb-org-server mongodb-org

请在此添加图片描述

4.5 修改绑定IP

修改/etc/mongod.conf 配置文件中的mongodb服务绑定的IP地址为0.0.0.0。

vim /etc/mongod.conf 

请在此添加图片描述

4.6 启动MongoDB服务

启动MongoDB服务

systemctl start mongod.service  && systemctl enable  mongod.service

4.7 检查MongoDB服务状态

检查MongoDB服务状态

[root@master ~]# systemctl status mongod
● mongod.service - MongoDB Database Server
   Loaded: loaded (/usr/lib/systemd/system/mongod.service; enabled; vendor preset: disabled)
   Active: active (running) since Wed 2023-09-13 16:38:48 CST; 44s ago
     Docs: https://docs.mongodb.org/manual
 Main PID: 1472 (mongod)
   CGroup: /system.slice/mongod.service
           └─1472 /usr/bin/mongod -f /etc/mongod.conf

Sep 13 16:38:48 master systemd[1]: Started MongoDB Database Server.
Sep 13 16:38:48 master mongod[1472]: {"t":{"$date":"2023-09-13T08:38:48.292Z"},"s":"I",  "c":"CONTROL",  "id":7484500, "ctx":"-","msg":"Environment variable MONG... to false"}
Hint: Some lines were ellipsized, use -l to show in full.

4.8 查看MongoDB版本

查看当前安装的MongoDB版本

[root@master ~]# mongod --version
db version v5.0.21
Build Info: {
    "version": "5.0.21",
    "gitVersion": "4fad44a858d8ee2d642566fc8872ef410f6534e4",
    "openSSLVersion": "OpenSSL 1.0.1e-fips 11 Feb 2013",
    "modules": [],
    "allocator": "tcmalloc",
    "environment": {
        "distmod": "rhel70",
        "distarch": "x86_64",
        "target_arch": "x86_64"
    }
}

五、master节点配置工作

5.1 进入mongodb数据库

直接本地进入mongodb

mongo

请在此添加图片描述

5.2 创建admin账号

在mongodb内创建用户管理员admin账号

db.createUser({
  user: "admin",
  pwd: "admin",
  roles: [
  {role: "userAdminAnyDatabase",db: "admin"}
  ]
}
)

请在此添加图片描述

5.3 创建测试账号

进入admin数据库内,使用admin账号验证登录。

>  use admin;
switched to db admin
> db.auth("admin", "admin")
1

请在此添加图片描述

在在mongodb内创建huawei用户,用户角色权限为“root”。

db.createUser({
  user: "huawei",
  pwd: "huawei",
  roles: [   "root" ]
}
)

请在此添加图片描述

5.4 访问测试数据库

使用admin账号连接mongodb

mongo -uadmin -padmin --authenticationDatabase admin

请在此添加图片描述

5.5 在主节点创建key文件

在主节点创建key文件

mkdir -p /data/mongodb/
openssl rand -base64 666 > /data/mongodb/mongodb.key
  • 在两个从节点创建目录
mkdir -p /data/mongodb/

5.5 拷贝key文件

将key文件发送两个从节点

scp  /data/mongodb/mongodb.key root@192.168.3.142:/data/mongodb/
scp  /data/mongodb/mongodb.key root@192.168.3.143:/data/mongodb/

请在此添加图片描述

六、所有节点配置工作

6.1 配置说明

  • 以下步骤,三个节点都需要执行。

6.2 目录及文件授权

在三个节点服务器中,执行以下命令,对相关目录及文件进行授权操作·。

chown mongod:mongod -R /data/mongodb/
chmod 600 /data/mongodb/mongodb.key

请在此添加图片描述

6.3 编辑/etc/mongod.conf文件

在三个节点服务器中,编辑/etc/mongod.conf文件。

systemLog:
  destination: file
  logAppend: true
  path: /var/log/mongodb/mongod.log
storage:
  dbPath: /var/lib/mongo
  journal:
    enabled: true
processManagement:
  fork: true  # fork and run in background
  pidFilePath: /var/run/mongodb/mongod.pid  # location of pidfile
  timeZoneInfo: /usr/share/zoneinfo
net:
  port: 27017
  bindIp: 0.0.0.0  # Enter 0.0.0.0,:: to bind to all IPv4 and IPv6 addresses or, alternatively, use the net.bindIpAll setting.
security:
  authorization: enabled
  keyFile: /data/mongodb/mongodb.key
  clusterAuthMode: keyFile
replication:
  replSetName: rs0
  oplogSizeMB: 5000

请在此添加图片描述

6.4 重启mongodb服务

三个节点服务器,重启mongodb服务。

systemctl restart mongod

请在此添加图片描述

七、配置MongoDB主从

7.1 用户认证

连接master节点的mongodb。

mongo

请在此添加图片描述

使用huawei账号进行认证

> use admin;
switched to db admin
> db.auth("huawei","huawei")
1

请在此添加图片描述

7.2 配置副本集

执行以下命令,配置副本集。

rs.initiate({
   _id : "rs0",
   members: [
      { _id: 0, host: "192.168.3.141:27017" },
      { _id: 1, host: "192.168.3.142:27017" },
      { _id: 2, host: "192.168.3.143:27017" }
   ]
})

请在此添加图片描述

7.3 主库查看副本集配置

master主节点,退出mongodb,重新连接后,使用huawei账号验证。

  • 使用huawei账号进行认证
 use admin;
db.auth("huawei","huawei")
  • 查看副本集配置
rs.config()
rs0:PRIMARY>  rs.config()
{
	"_id" : "rs0",
	"version" : 1,
	"term" : 1,
	"members" : [
		{
			"_id" : 0,
			"host" : "192.168.3.141:27017",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,
			"tags" : {

			},
			"secondaryDelaySecs" : NumberLong(0),
			"votes" : 1
		},
		{
			"_id" : 1,
			"host" : "192.168.3.142:27017",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,
			"tags" : {

			},
			"secondaryDelaySecs" : NumberLong(0),
			"votes" : 1
		},
		{
			"_id" : 2,
			"host" : "192.168.3.143:27017",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,
			"tags" : {

			},
			"secondaryDelaySecs" : NumberLong(0),
			"votes" : 1
		}
	],
	"protocolVersion" : NumberLong(1),
	"writeConcernMajorityJournalDefault" : true,
	"settings" : {
		"chainingAllowed" : true,
		"heartbeatIntervalMillis" : 2000,
		"heartbeatTimeoutSecs" : 10,
		"electionTimeoutMillis" : 10000,
		"catchUpTimeoutMillis" : -1,
		"catchUpTakeoverDelayMillis" : 30000,
		"getLastErrorModes" : {

		},
		"getLastErrorDefaults" : {
			"w" : 1,
			"wtimeout" : 0
		},
		"replicaSetId" : ObjectId("65018aed22234a6282b793a6")
	}
}

7.4 查看副本集状态

查看副本集状态

rs0:PRIMARY>  rs.status()
{
	"set" : "rs0",
	"date" : ISODate("2023-09-13T10:18:54.675Z"),
	"myState" : 1,
	"term" : NumberLong(1),
	"syncSourceHost" : "",
	"syncSourceId" : -1,
	"heartbeatIntervalMillis" : NumberLong(2000),
	"majorityVoteCount" : 2,
	"writeMajorityCount" : 2,
	"votingMembersCount" : 3,
	"writableVotingMembersCount" : 3,
	"optimes" : {
		"lastCommittedOpTime" : {
			"ts" : Timestamp(1694600329, 1),
			"t" : NumberLong(1)
		},
		"lastCommittedWallTime" : ISODate("2023-09-13T10:18:49.099Z"),
		"readConcernMajorityOpTime" : {
			"ts" : Timestamp(1694600329, 1),
			"t" : NumberLong(1)
		},
		"appliedOpTime" : {
			"ts" : Timestamp(1694600329, 1),
			"t" : NumberLong(1)
		},
		"durableOpTime" : {
			"ts" : Timestamp(1694600329, 1),
			"t" : NumberLong(1)
		},
		"lastAppliedWallTime" : ISODate("2023-09-13T10:18:49.099Z"),
		"lastDurableWallTime" : ISODate("2023-09-13T10:18:49.099Z")
	},
	"lastStableRecoveryTimestamp" : Timestamp(1694600279, 1),
	"electionCandidateMetrics" : {
		"lastElectionReason" : "electionTimeout",
		"lastElectionDate" : ISODate("2023-09-13T10:12:08.624Z"),
		"electionTerm" : NumberLong(1),
		"lastCommittedOpTimeAtElection" : {
			"ts" : Timestamp(1694599918, 1),
			"t" : NumberLong(-1)
		},
		"lastSeenOpTimeAtElection" : {
			"ts" : Timestamp(1694599918, 1),
			"t" : NumberLong(-1)
		},
		"numVotesNeeded" : 2,
		"priorityAtElection" : 1,
		"electionTimeoutMillis" : NumberLong(10000),
		"numCatchUpOps" : NumberLong(0),
		"newTermStartDate" : ISODate("2023-09-13T10:12:08.987Z"),
		"wMajorityWriteAvailabilityDate" : ISODate("2023-09-13T10:12:10.491Z")
	},
	"members" : [
		{
			"_id" : 0,
			"name" : "192.168.3.141:27017",
			"health" : 1,
			"state" : 1,
			"stateStr" : "PRIMARY",
			"uptime" : 834,
			"optime" : {
				"ts" : Timestamp(1694600329, 1),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2023-09-13T10:18:49Z"),
			"lastAppliedWallTime" : ISODate("2023-09-13T10:18:49.099Z"),
			"lastDurableWallTime" : ISODate("2023-09-13T10:18:49.099Z"),
			"syncSourceHost" : "",
			"syncSourceId" : -1,
			"infoMessage" : "",
			"electionTime" : Timestamp(1694599928, 1),
			"electionDate" : ISODate("2023-09-13T10:12:08Z"),
			"configVersion" : 1,
			"configTerm" : 1,
			"self" : true,
			"lastHeartbeatMessage" : ""
		},
		{
			"_id" : 1,
			"name" : "192.168.3.142:27017",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 416,
			"optime" : {
				"ts" : Timestamp(1694600329, 1),
				"t" : NumberLong(1)
			},
			"optimeDurable" : {
				"ts" : Timestamp(1694600329, 1),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2023-09-13T10:18:49Z"),
			"optimeDurableDate" : ISODate("2023-09-13T10:18:49Z"),
			"lastAppliedWallTime" : ISODate("2023-09-13T10:18:49.099Z"),
			"lastDurableWallTime" : ISODate("2023-09-13T10:18:49.099Z"),
			"lastHeartbeat" : ISODate("2023-09-13T10:18:54.667Z"),
			"lastHeartbeatRecv" : ISODate("2023-09-13T10:18:54.192Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncSourceHost" : "192.168.3.141:27017",
			"syncSourceId" : 0,
			"infoMessage" : "",
			"configVersion" : 1,
			"configTerm" : 1
		},
		{
			"_id" : 2,
			"name" : "192.168.3.143:27017",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 416,
			"optime" : {
				"ts" : Timestamp(1694600329, 1),
				"t" : NumberLong(1)
			},
			"optimeDurable" : {
				"ts" : Timestamp(1694600329, 1),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2023-09-13T10:18:49Z"),
			"optimeDurableDate" : ISODate("2023-09-13T10:18:49Z"),
			"lastAppliedWallTime" : ISODate("2023-09-13T10:18:49.099Z"),
			"lastDurableWallTime" : ISODate("2023-09-13T10:18:49.099Z"),
			"lastHeartbeat" : ISODate("2023-09-13T10:18:54.667Z"),
			"lastHeartbeatRecv" : ISODate("2023-09-13T10:18:54.192Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncSourceHost" : "192.168.3.141:27017",
			"syncSourceId" : 0,
			"infoMessage" : "",
			"configVersion" : 1,
			"configTerm" : 1
		}
	],
	"ok" : 1,
	"$clusterTime" : {
		"clusterTime" : Timestamp(1694600329, 1),
		"signature" : {
			"hash" : BinData(0,"TEVJDeHnCzlM41kvfsK8m3GP4L8="),
			"keyId" : NumberLong("7278251270563954692")
		}
	},
	"operationTime" : Timestamp(1694600329, 1)
}

7.5 判断主从节点

“primary” : “192.168.3.141:27017”,显示192.168.3.141主机为主节点

rs.isMaster()
s0:PRIMARY> rs.isMaster()
{
	"topologyVersion" : {
		"processId" : ObjectId("6501894c22234a6282b7934f"),
		"counter" : NumberLong(6)
	},
	"hosts" : [
		"192.168.3.141:27017",
		"192.168.3.142:27017",
		"192.168.3.143:27017"
	],
	"setName" : "rs0",
	"setVersion" : 1,
	"ismaster" : true,
	"secondary" : false,
	"primary" : "192.168.3.141:27017",
	"me" : "192.168.3.141:27017",
	"electionId" : ObjectId("7fffffff0000000000000001"),
	"lastWrite" : {
		"opTime" : {
			"ts" : Timestamp(1694600459, 1),
			"t" : NumberLong(1)
		},
		"lastWriteDate" : ISODate("2023-09-13T10:20:59Z"),
		"majorityOpTime" : {
			"ts" : Timestamp(1694600459, 1),
			"t" : NumberLong(1)
		},
		"majorityWriteDate" : ISODate("2023-09-13T10:20:59Z")
	},
	"maxBsonObjectSize" : 16777216,
	"maxMessageSizeBytes" : 48000000,
	"maxWriteBatchSize" : 100000,
	"localTime" : ISODate("2023-09-13T10:21:02.808Z"),
	"logicalSessionTimeoutMinutes" : 30,
	"connectionId" : 15,
	"minWireVersion" : 0,
	"maxWireVersion" : 13,
	"readOnly" : false,
	"ok" : 1,
	"$clusterTime" : {
		"clusterTime" : Timestamp(1694600459, 1),
		"signature" : {
			"hash" : BinData(0,"K6fiimpJmajEAl5G2IovptISfL4="),
			"keyId" : NumberLong("7278251270563954692")
		}
	},
	"operationTime" : Timestamp(1694600459, 1)
}

八、测试MongoDB主从切换

8.1 停止主库的mongodb服务

停止主库的mongodb服务

systemctl stop mongod.service 

请在此添加图片描述

8.2 查看从库状态

其他从节点登录mongodb,查看mongodb的角色,发现node01节点已经切换为主库。

mongo

请在此添加图片描述

我正在参与 腾讯云开发者社区数据库专题有奖征文。

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。