文章内容
2020/9/10 18:43:55,作 者: 黄兵
MySQL查询大量数据分页
在上一篇文章：MySQL查询大量数据所面临的一些问题，说明了在MySQL中查询大量数据所面临的问题。
遇到查询大型数据，应该怎么解决呢？
和容易想到就是分页查询，这是一个正确的方法，应该如何分页？
最主要就是使用MySQL中的LIMIT 和 OFFSET关键字，下面是示例：
SELECT * FROM Orders LIMIT 30;
上面查询了：“订单”的表中选择1-30（含）之间的所有记录
如果我们想选择记录16-25（含）怎么办？
Mysql还提供了一种解决方法：使用OFFSET。
下面的SQL查询显示“仅返回10条记录，从记录16开始（偏移15）”：
SELECT * FROM Orders LIMIT 10 OFFSET 15;
利用这个例子，我们就很容易给大型数据分页。
具体查询示例如下：
for item in range(108095):
# 查询2019年全年数据
sql = "SELECT * FROM table_name JOIN (SELECT id FROM table_name WHERE Time BETWEEN '2019-01-01 00:00:00' AND '2020-01-01 00:00:00' LIMIT 100 OFFSET 0) AS t1 ON (t1.id=table_name.id);"
# 执行SQL语句
try:
cur.execute(sql)
# 获取所有记录列表
results = cur.rowcount注意这里偏移量一直是0，是由于后面删除了查询到的数据，所以一直是从0开始的，这里循环了108095次，也就是数据量/100取整+1得到的数据。
这样通过上面的原理给上面的数据实现了分页，同时使用了覆盖查询，来优化查询速度。
同时优化MySQL查询速度，可以参考这篇文章：MySQL查询优化
参考资料：
2、PHP MySQL Limit Data Selections
黄兵个人博客原创
转载请注明出处：黄兵个人博客 - MySQL查询大量数据分页
评论列表