引用
问题描述:
我们要访问的表是一个非常大的表,四千万条记录,id是主键,program_id上建了索引。
执行一条SQL:
select * from program_access_log where program_id between 1 and 4000
这条SQL非常慢。
我们原以为处理记录太多的原因,所以加了id限制,一次只读五十万条记录
select * from program_access_log where id between 1 and 500000 and program_id between 1 and 4000
但是这条SQL仍然很慢,速度比上面一条几乎没有提升。
Mysql处理50万条记录的表,条件字段还建了索引,这条语句应该是瞬间完成的。
问题分析:
这张表大约容量30G,数据库服务器内存16G,无法一次载入。就是这个造成了问题。
这条SQL有两个条件,ID一到五十万和Program_id一到四千,因为program_id范围小得多,mysql选择它做为主要索引。
先通过索引文件找出了所有program_id在1到4000范围里所有的id,这个过程非常快。
接下来要通过这些id找出表里的记录,由于这些id是离散的,所以mysql对这个表的访问不是顺序读取。
而这个表又非常大,无法一次装入内存,所以每访问一条记录mysql都要重新在磁盘上定位并把附近的记录都载入内存,大量的IO操作导致了速度的下降。
问题解决方案:
1. 以program_id为条件对表进行分区
2. 分表处理,每张表的大小不超过内存的大小
然而,服务器用的是mysql5.0,不支持分区,而且这个表是公共表,无法在不影响其它项目的条件下修改表的结构。
所以我们采取了第三种办法:
select * from program_access_log where id between 1 and 500000 and program_id between 1 and 15000000
现在program_id的范围远大于id的范围,id被当做主要索引进行查找,由于id是主键,所以查找的是连续50万条记录,速度和访问一个50万条记录的表基本一样
总结:
这是一个在千万笔记录表中由于使用了索引导致了数据查找变慢的问题,有一定的典型性和大家交流下!
分享到:
相关推荐
主要功能:输出SQL索引优化建议 二、SQLAdvisor详细说明 SQLAdvisor快速入门教程 SQLAdvisor架构和实践 SQLAdvisor release notes SQLAdvisor开发规范 FAQ SQLAdvisor是由美团点评公司技术工程部DBA团队(北京)...
SQL 索引 优化 通过具体测试 得到索引优化
数据库面试题索引sql优化数据库面试题索引sql优化数据库面试题索引sql优化数据库面试题索引sql优化数据库面试题索引sql优化数据库面试题索引sql优化数据库面试题索引sql优化数据库面试题索引sql优化数据库面试题索引...
一套非常完备的SQL索引优化资料,也是面试的宝典! 资料很珍贵!
SQLAdvisor是美团开源的一款SQL索引优化建议工具, 是由美团点评公司技术工程部DBA团队(北京)开发维护的一个分析SQL给出索引优化建议的工具。它基于MySQL原生态词法解析,结合分析SQL中的where条件、聚合条件、...
05-VIP-Mysql索引优化实战二.pdf
摘 要: 查询操作在各种数据库操作中所占比重最大, 在数据量很大的数据库里查询, SQL语 句的优化就成了很关键的问题。通过建立合理的索引、设置合适的where子句中的条件、使用 临时表等措施来给数据库管理系统的优化...
sqlserver管理索引优化SQL语句
SQL性能优化以及索引的优化,索引的优化可以很大提高查询效率,有详细的数据
深入理解SqlServer索引机制及合理优化数据库
SQL Server 2000完结篇系列之七:SQL Server 2000索引优化详解
SQL终极优化(包括很多非索引方面的优化和原理)
基于索引的SQL语句优化之降龙十八掌 SQL语句优化
Microsoft SQL Server 2008技术内幕 T-SQL 查询 一书中,第四章,索引优化章节的示例数据库脚本。
客服业务受到SQL语句的影响非常大...本次秘笈根据实际的工作经验,在研发原来已有的方法的基础上,进行了一些扩充,总结了基于索引的SQL语句优化的降龙十八掌,希望有一天你能用其中一掌来驯服客服业务中横行的‘恶龙’
基于索引的sql语句优化之法则.基于索引的sql语句优化之法则
ORACLE索引详解及SQL优化,详细描述了几种常用索引原理以及创建方法,解读索引生效条件,以及在开发中常用的提高数据库效率、降低数据库资源消耗的方法。
ORACLE SQL性能优化文档大全(包括所有sql索引方面知识),非常明朗清晰,初学者易懂,深入研究者也有很大帮助
sql2005 索引和查询优化 sql2005 索引和查询优化
SQLAdvisor是由美团点评公司技术工程部DBA团队(北京)开发维护的一个分析SQL给出索引优化建议的工具。它基于MySQL原生态词法解析,结合分析SQL中的where条件、聚合条件、多表Join关系 给出索引优化建议。