分页接口越翻越慢,查完发现是 OFFSET 在拖后腿
【摘要】 列表接口翻到后面越来越慢,定位到 OFFSET 要先扫掉前面所有行,改成游标分页后深页耗时从几秒降到几十毫秒;需要跳页的场景单独保留 OFFSET 并限制深度。
上周有个列表接口被业务方投诉了:翻到第一页很快,翻到几十页就开始卡,再往后直接超时。第一反应是数据库慢了。看了下监控,CPU 和内存都正常,慢查询日志里就这一条 SQL 特别显眼,执行时间随着页码一路往上涨。把 SQL 拎出来一看,问题很明显:LIMIT 20 OFFSET 8000。OFFSET 的意思是先把前面 8000 行扫出来,再扔掉,只留最后 20 行。页码越深,扔掉的行越多,扫描量就越大。数据量小的时候感觉不到,等表里攒到几十万行,后面的页基本就没法看了。改的办法是换成游标分页。前端每次请求带上上一页最后一条记录的 id,后端查 id 大于这个值的 20 条,按 id 排序。这样每次查询走的都是索引定位,跟翻到第几页没关系,第一页和第一千页耗时差不多。改完之后测了一下,深页的耗时从两三秒降到了几十毫秒。不过游标分页也不是万能的。它有个明显的短板:没法直接跳页。用户想点“第 50 页”就点不了,只能一页一页往后翻。所以我们最后是分开处理的:普通的列表浏览走游标分页;后台管理那种确实要跳页的场景,保留 OFFSET,但限制最多只能翻到前 100 页,超过了就提示缩小筛选条件。这事之后,我再看分页需求都会先问一句:这个列表会被翻到多深?如果只是日常浏览,游标分页基本够用;如果业务上真有跳页需求,要么限制深度,要么换个思路,比如先按条件筛、再分页,而不是让用户在一张大表里一页一页翻。分页看着是个小功能,数据量一上来,写法的差别就全出来了。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)