mongos路由缓存机制

背景信息

MongoDB作为一个基于分布式文件存储的数据库，以其可扩展性，高性能，开源，模式自由，面向文档等特点，逐步赢得了越来越多的使用者。其架构参考下图：

这张图代表了MongoDB的经典架构模式——集群，主要分为三部分：

1，mongos：可以有1~N个，并可以随时添加；是对外供用户访问的接口，屏蔽分布式数据库内部的复杂性。

2，config server：一组副本集架构，一个集群只有一个。负责存储整个集群的元数据信息，包括数据的路由信息和分片信息，等。

3，shard server：一个shard server为一组副本集架构，集群中可以添加多组副本集架构，分片式地存储真正的用户数据。

分片介绍

分片是指将一个集合的数据，根据指定的shard key，相对均匀地分布保存在多个shard server上。这种指定了shard key的集合，称为分片集合。反之，如果并未对集合进行分片，那么该集合的数据，只会全部存储在某一个shard server上。MongoDB的集群模式，允许分片集合和未分片集合在数据库中同时存在。

未分片的集合可以通过命令sh.shardCollection转为分片集合。对集合进行分片的前提，是集合所属的数据库开启了分片功能。可以通过命令sh.enableSharding开启。

mongos路由缓存机制

用户数据存储在shard server中，元数据存储在config server中。路由信息属于元数据信息，也就存储在config server中。当用户通过mongos对集群进行数据访问时，mongos会根据config server中的路由信息，将用户请求发送到对应的shard server上，进行数据访问。

然而，如果mongos在每次处理数据访问时，都去从config server获取路由信息，会太影响性能。因此其在实现机制上，添加了缓存机制——将config server的路由信息缓存在mongos本地。所以，不但在config server中会存储路由信息，mongos的本地缓存中也可能会缓存路由信息。

Mongos中不是一定会有缓存的路由信息的，如果mongos上没有进行过任何数据操作，就没有缓存。而且，mongos上缓存的路由信息，也不一定是最新的config server的路由信息。mongos上缓存的路由信息，不是实时或者定时刷新的。它是lazy模式，是在特定的场景下被动触发的，包含但可能不限于如下几种触发场景：

1，mongos启动时，从config server获取最新的路由信息，缓存在本地。

2， mongos第一次处理相关数据的请求：由于mongos本地没有缓存该相关数据的路由信息，则会触发更新相关的config server路由信息到mongos本地缓存的逻辑。继续处理后续请求时，此时mongos已经缓存了相关数据的路由信息，则会直接使用缓存中的路由信息，访问shard server。

3， 在mongos上手工执行路由刷新命令。

注：被动触发mongos的路由缓存刷新，并不是刷新缓存中的全部内容，只是刷新用户请求涉及到的元数据信息（缓存刷新的范围以DB为单位的）。

使用场景注意

通过以上分析大家看到，当未对数据进行分片时，若系统中存在多个mongos，通过不同的mongos进行数据访问时，可能出现不同mongos上本地缓存的路由信息不一致的情况。举例来说：

1， 先通过mongos1创建了库A，未开启分片。简单写入数据1后，数据1被全部分到了ShardServer1上存储。之后，在mongos2上对做了简单的查询。此时，mongos1和mongos2上，均有了缓存的库A的路由信息。

2， 通过mongos2做了库A的删除。此时ConfigServer和ShardServer1中的库A信息都被删掉了。而mongos1并不知道。

3， 通过mongos1向库A中写入数据2时，因为有缓存，所以识别不出库A已经被删除了的场景。参照旧的路由信息，数据2被写入了ShardServer1。之后，再通过mongos2向库A中写入数据3时，因为能够识别出库A被删除了，所以会在ConfigServer和ShardServer2中生成新的库A的信息。

4， 此时，mongos1和mongos2中缓存的路由信息不一致，关联的是不同的ShardServer，看到的是部分数据，导致数据异常。

规避方案和使用建议

官方的建议是：在每次删完库后，在所有mongos节点上，做一次路由刷新。

刷新路由的命令：db.adminCommand("flushRouterConfig")。

参考如下官方链接：https://jira.mongodb.org/browse/SERVER-17397

针对此问题，补充给出规避方案和使用建议：

1， 对于集群模式下，建议开启库的分片功能 然后 对其中的集合进行分片。

2， 对于未开启分片功能的库。在删除后，不建议创建同名的库。如果业务需要创建同名的库。那么在删除库之后，创建同名的库之前。登录到所有的mongos节点上，执行刷新路由表的操作。