新闻详情

新闻详情

首页 / 资讯中心 / 详情

职位列表翻到第 10000 页接口超时:深分页优化,从 3 秒到 30ms

发布时间:2026/11/21 21:42:32来源:尧图网络
职位列表翻到第 10000 页接口超时:深分页优化,从 3 秒到 30ms
导读招聘平台职位列表页用户翻到第几百页后接口开始变慢第 10000 页直接超时。慢查询日志里躺着一条LIMIT 200000, 20的 SQL执行要 3 秒多。这个案例很典型深分页的优化套路也就那么几个今天用一次真实排查把它讲透。职位列表翻到第 10000 页接口超时深分页优化从 3 秒到 30ms先说业务。求职招聘系统的职位搜索页支持按城市、职位类型、薪资范围筛选分页大小 20。用户猛翻页翻到后面比如第 10000 页即 offset200000的时候接口响应从几十毫秒涨到 3 秒再往后直接超时。慢 SQL 长什么样最开始的 SQL 是这么写的SELECTid,title,salary_min,salary_max,city_code,company_name,updated_atFROMjob_positionWHEREcity_code330100ANDstatus1ORDERBYupdated_atDESCLIMIT200000,20;字段看着不复杂city_code和status也有索引。用EXPLAIN看一眼EXPLAINSELECTid,title,salary_min,salary_max,city_code,company_name,updated_atFROMjob_positionWHEREcity_code330100ANDstatus1ORDERBYupdated_atDESCLIMIT200000,20;结果里typerefkeyidx_city_status乍一看索引用上了。但注意Extra列Using index condition; Using filesortUsing filesort出来了。排序字段updated_at不在联合索引里MySQL 只能把 20 万行先捞出来在内存里排完序再丢掉前 20 万行。这就是慢的根源。为什么 offset 越大越慢很多人以为 LIMIT 优化是只取 20 条其实 MySQL 是先扫描 offsetlimit 行再丢弃前 offset 行。offset200000 时即使每条都命中索引也要读 200020 行。更要命的是 SELECT 里查了company_name、salary_max这些不在索引里的字段每行都要回表查一次聚簇索引200020 次回表不慢才怪。优化一延迟关联最通用核心思路先在索引里把 id 定位出来再回表拿完整数据回表次数从 20 万降到 20 次。SELECTp.id,p.title,p.salary_min,p.salary_max,p.city_code,p.company_name,p.updated_atFROMjob_position pINNERJOIN(SELECTidFROMjob_positionWHEREcity_code330100ANDstatus1ORDERBYupdated_atDESCLIMIT200000,20)tONp.idt.idORDERBYp.updated_atDESC;子查询里只查id走覆盖索引如果建了(city_code, status, updated_at)联合索引连 filesort 都省了直接按索引顺序扫。这样子查询扫 20 万行但不回表快了不是一点半点。压测结果同一页数据从 3.2s 降到 31ms100 倍。配合的索引 DDLALTERTABLEjob_positionADDINDEXidx_city_status_time(city_code,status,updated_at);ORDER BY updated_at DESC能直接走这个索引的顺序Using filesort消失Extra变成干净的Using index condition。优化二游标分页翻到底的方案延迟关联能救 10000 页但 offset 到 100 万行的时候子查询本身也要扫 100 万行还是会慢。更彻底的方案是不用 offset改游标记住上一页最后一条的updated_at下一页只查比它小的。SELECTid,title,salary_min,salary_max,city_code,company_name,updated_atFROMjob_positionWHEREcity_code330100ANDstatus1ANDupdated_at2026-09-27 18:30:00-- 上一页最后一条的时间ORDERBYupdated_atDESCLIMIT20;这个方案每页都是 O(索引命中行数)不管翻多深都稳定。代价是不能用页码跳转只能上一页下一页且updated_at要有唯一性保证同秒多条会漏数据一般拼上id做二级条件。AND(updated_at?OR(updated_at?ANDid?))我在项目里是浅页数用延迟关联超过 100 页提示用户用搜索/筛选缩小范围没有做无限翻页的游标——招聘场景用户不会真翻到 1 万页但接口不能因此超时。踩坑记录加了索引反而更慢说个翻车经历。我先给表加了(city_code, status, updated_at)联合索引以为万事大吉结果 EXPLAIN 一看优化器还是走了老索引idx_city_statusfilesort 还在。排查过程SHOW INDEX FROM job_position确认索引建上了再 EXPLAIN发现key还是旧的。查了 MySQL 版本和统计信息ANALYZE TABLE job_position更新统计信息后优化器才切到新索引。这个坑的教训加了索引不代表优化器会用MySQL 的优化器基于统计信息做选择表数据量变化后要ANALYZE TABLE刷新统计信息实在不听话可以用FORCE INDEX (idx_city_status_time)先顶上但根因要查清楚。可直接复用的要点慢查询日志开着long_query_time1定期扫一眼。深分页三板斧联合索引覆盖排序字段 → 延迟关联减少回表 → 游标分页根治翻页。EXPLAIN看Extra出现Using filesort就是排序没走索引。加了索引不生效先ANALYZE TABLE刷新统计信息。业务层限制最大翻页深度超深提示用户加筛选条件比无限优化 SQL 更实在。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/21 14:14:45

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/21 14:14:26

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/21 21:08:55

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/20 16:11:20

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/21 19:02:25

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/21 14:13:11

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉