GaussDB (for Cassandra) 数据库治理 -- 大key与热key问题的检测与解决

Cassandra数据库是一个高度可扩展的高性能分布式数据库，面向大数据场景，可用于管理大量的结构化数据。在业务使用的过程中，随着业务量和数据流量的持续增长，往往一些业务的设计弊端逐渐暴露出来，降低了集群的稳定性和可用性。比如主键设计不合理，单个分区的记录数或数据量过大，出现超大分区键，引起了节点负载不均，集群稳定性会下降，这一类问题称为大key问题。当某一热点key的请求在某一主机上的访问超过server极限时，会导致热点Key问题的产生。往往大key是造成热key问题的间接原因。

GaussDB(for Cassandra) 是一款基于华为自研的计算存储分离架构的分布式数据库，兼容Cassandra生态的云原生NoSQL数据库，支持类SQL语法CQL。在华为云高性能、高可用、高可靠、高安全、可弹性伸缩的基础上，提供了一键部署、快速备份恢复、计算存储独立扩容、监控告警等服务能力。针对以上问题，GaussDB(for Cassandra) 提供了大key和热key的实时检测，以帮助业务进行合理的schema设计，规避业务稳定性风险。

大key的分析与解决

大key的产生，最主要的原因是主键设计不合理，使得单个分区的记录数或数据量过大。一旦某一个分区出现极大时，对该分区的访问，会造成分区所在server的负载变高，甚至造成节点OOM等。
针对大key问题，一般采取两种修复手段，一种是增加缓存，优化表结构。一种是基于现有分区键，增加分区键散列。对数据进行打散，避免单个分区的记录过大。GaussDB(for Cassandra) 有如下整改事例，业务整改后负载平稳运行。

案例1：

XX集群的数据量过大，导致集群存在大分区键(排查数量大概为2000+)，最大的分区键达到38G。当业务频繁访问这部分大的分区键时，会导致节点持续高负载，影响业务请求成功率。

表结构如下

CREATE TABLE movie (
    movieid text,
    appid int,
    uid bigint,
    accessstring text,
    moviename text,
    access_time timestamp,
    PRIMARY KEY (movieid, appid, uid, accessstring, moviename)
)

表设计分析
movie表保存了短视频的相关信息，分区键为movieid，并且保存了用户信息(uid)，如果movieid是一个热门短视频，有几千万甚至上亿用户点赞此短视频，则该热门短视频所在的分区非常大(当前发现有38G)。

解决方法：

1. 优化表结构
创建新表保存热门短视频信息，只保留短视频公共信息，不包含用户信息，确保该表不会产生大的分区键。热门短视频信息写入该表中。

CREATE TABLE hotmovieaccess (
    movieid text,
    appid int,
    accessstring text,
    access_time timestamp,
    PRIMARY KEY (movieid, appid)
)

2. 增加缓存
增加缓存，业务应用先从缓存中读取热门文件信息，没有查询到，则从数据库中查询，减少数据库查询次数。

CREATE TABLE movie_meta202110 (
    path text,
    moviename text,
    movieid text,
    create_time timestamp,
    modify_mtime timestamp,
    PRIMARY KEY (path, moviename)
)

大key的定义与检测手段

通过长时间的业务观察，我们规定以下阈值，超过任何一个条件的阈值即为大key：

1. 单个分区键的行数不能超过10万
2. 单个分区的大小不超过100MB

GaussDB(for Cassandra) 支持了大key的检测与告警。在CES界面，可以配置实例的大key告警。当发生大key事件时，会第一时间通知。及时整改，可避免业务波动。

大key告警字段解释

[
 {
	 "partition_size": "1008293497", 			    //超大分区键的总大小
	 "timestamp": "2021-09-08 07:08:18,240", 	    //大key产生时间
	 "partition_num": "676826", 				    //超大分区键的总行数
	 "keyspace_name": "ssss", 		                    //keyspace名称
	 "table_name": "zzzz", 					    //表名称
	 "table_id": "024a1070-0064-11eb-bdf3-d3fe5956183b",    //表id
	 "partition_key": "{vin=TESTW3YWZD2021003}" //分区键
 }
]

热key的危害与解决

在日常生活中，经常会发生各种热门事件，应用中对该热点新闻进行上万次的点击浏览和评论时，会形成一个较大的请求量，这种情况下会造成短时间内对同一个key频繁操作，会导致key所在节点的CPU和load飙高，从而影响落在该节点的其他请求。导致业务成功率下降。诸如此类的还有热门商品促销，网红直播等场景，这些典型的读多写少的场景也会产生热点问题。

{
	"sampler_type": "WRITES", 				 // 采样类型。取值有WRITES, READS; WRITES代表写，READS代表读。
	"partition_num": "2969", 				// 分区键的热点次数
	"keyspace_name": "performance", 		        // keyspace名称
	"table_id": "a10f3bb0-3626-11ec-bbdf-63e05bbb4391",     // 表id
	"table_name": "stresstable", 			        // 表名
	"partition_key": "85897376" 			        // 产生热点分区键的值
}