MySQL分頁查詢方法及優(yōu)化

2022-08-04 17:37 更新

當(dāng)數(shù)據(jù)庫的數(shù)據(jù)量很大時(shí),一次性查詢結(jié)果就會(huì)變得很慢,為了提高查詢效率,我們可以使用MySQL的分頁查詢功能。本文就為大家?guī)鞰ySQL分頁查詢方法及優(yōu)化。


推薦閱讀:

21分鐘MySQL入門教程

MySQL完整教程


分頁查詢方法:

在MySQL中,分頁查詢一般都是使用limit子句實(shí)現(xiàn),limit子句聲明如下:

SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset

LIMIT子句可以被用于指定 SELECT 語句返回的記錄數(shù)。需注意以下幾點(diǎn):

1、第一個(gè)參數(shù)指定第一個(gè)返回記錄行的偏移量

2、第二個(gè)參數(shù)指定返回記錄行的最大數(shù)目

3、如果只給定一個(gè)參數(shù):它表示返回最大的記錄行數(shù)目

4、第二個(gè)參數(shù)為 -1 表示檢索從某一個(gè)偏移量到記錄集的結(jié)束所有的記錄行

5、初始記錄行的偏移量是0(而不是 1)


下面是一個(gè)應(yīng)用實(shí)例:

select * from orders_history where type=8 limit 1000,10;

該條語句將會(huì)從表 orders_history 中查詢第1000條數(shù)據(jù)之后的10條數(shù)據(jù),也就是第1001條到第1010條數(shù)據(jù)。

數(shù)據(jù)表中的記錄默認(rèn)使用主鍵(一般為id)排序,上面的結(jié)果相當(dāng)于:

select * from orders_history where type=8 order by id limit 10000,10;

三次查詢時(shí)間分別為:

3040 ms

3063 ms

3018 ms

針對這種查詢方式,下面測試查詢記錄量對時(shí)間的影響:

select * from orders_history where type=8 limit 10000,1;
select * from orders_history where type=8 limit 10000,10;
select * from orders_history where type=8 limit 10000,100;
select * from orders_history where type=8 limit 10000,1000;
select * from orders_history where type=8 limit 10000,10000;

三次查詢時(shí)間如下:

查詢1條記錄:3072ms 3092ms 3002ms

查詢10條記錄:3081ms 3077ms 3032ms

查詢100條記錄:3118ms 3200ms 3128ms

查詢1000條記錄:3412ms 3468ms 3394ms

查詢10000條記錄:3749ms 3802ms 3696ms

另外我還做了十來次查詢,從查詢時(shí)間來看,基本可以確定,在查詢記錄量低于100時(shí),查詢時(shí)間基本沒有差距,隨著查詢記錄量越來越大,所花費(fèi)的時(shí)間也會(huì)越來越多。


針對查詢偏移量的測試:

select * from orders_history where type=8 limit 100,100;
select * from orders_history where type=8 limit 1000,100;
select * from orders_history where type=8 limit 10000,100;
select * from orders_history where type=8 limit 100000,100;
select * from orders_history where type=8 limit 1000000,100;

三次查詢時(shí)間如下:

查詢100偏移:25ms 24ms 24ms

查詢1000偏移:78ms 76ms 77ms

查詢10000偏移:3092ms 3212ms 3128ms

查詢100000偏移:3878ms 3812ms 3798ms

查詢1000000偏移:14608ms 14062ms 14700ms

隨著查詢偏移的增大,尤其查詢偏移大于10萬以后,查詢時(shí)間急劇增加。

這種分頁查詢方式會(huì)從數(shù)據(jù)庫第一條記錄開始掃描,所以越往后,查詢速度越慢,而且查詢的數(shù)據(jù)越多,也會(huì)拖慢總查詢速度。


使用子查詢優(yōu)化

這種方式先定位偏移位置的 id,然后往后查詢,這種方式適用于 id 遞增的情況。

select * from orders_history where type=8 limit 100000,1;

select id from orders_history where type=8 limit 100000,1;

select * from orders_history where type=8 and 
id>=(select id from orders_history where type=8 limit 100000,1) 
limit 100;

select * from orders_history where type=8 limit 100000,100;

4條語句的查詢時(shí)間如下:

第1條語句:3674ms

第2條語句:1315ms

第3條語句:1327ms

第4條語句:3710ms

針對上面的查詢需要注意:

1、比較第1條語句和第2條語句:使用 select id 代替 select * 速度增加了3倍

2、比較第2條語句和第3條語句:速度相差幾十毫秒

3、比較第3條語句和第4條語句:得益于 select id 速度增加,第3條語句查詢速度增加了3倍

這種方式相較于原始一般的查詢方法,將會(huì)增快數(shù)倍。


使用 id 限定優(yōu)化

這種方式假設(shè)數(shù)據(jù)表的id是連續(xù)遞增的,則我們根據(jù)查詢的頁數(shù)和查詢的記錄數(shù)可以算出查詢的id的范圍,可以使用 id between and 來查詢:

select * from orders_history where type=2 
and id between 1000000 and 1000100 limit 100;

查詢時(shí)間:15ms 12ms 9ms

這種查詢方式能夠極大地優(yōu)化查詢速度,基本能夠在幾十毫秒之內(nèi)完成。限制是只能使用于明確知道id的情況,不過一般建立表的時(shí)候,都會(huì)添加基本的id字段,這為分頁查詢帶來很多便利。

還可以有另外一種寫法:

select * from orders_history where id >= 1000001 limit 100;

當(dāng)然還可以使用 in 的方式來進(jìn)行查詢,這種方式經(jīng)常用在多表關(guān)聯(lián)的時(shí)候進(jìn)行查詢,使用其他表查詢的id集合,來進(jìn)行查詢:

select * from orders_history where id in
(select order_id from trade_2 where goods = 'pen')
limit 100;

這種 in 查詢的方式要注意:某些 mysql 版本不支持在 in 子句中使用 limit。


關(guān)于數(shù)據(jù)表的id說明

一般情況下,在數(shù)據(jù)庫中建立表的時(shí)候,每一張表強(qiáng)制添加 id 遞增字段,這樣更方便我們查詢數(shù)據(jù)。

如果數(shù)據(jù)量很大,比如像訂單這類,一般會(huì)推薦進(jìn)行分庫分表。這個(gè)時(shí)候 id 就不建議作為唯一標(biāo)識了,而應(yīng)該使用分布式的高并發(fā)唯一 id 生成器來生成,并在數(shù)據(jù)表中使用另外的字段來存儲這個(gè)唯一標(biāo)識。

首先使用范圍查詢定位 id (或者索引),然后再使用索引進(jìn)行定位數(shù)據(jù),即先 select id,然后在 select *;這樣查詢的速度將會(huì)提升好幾倍。


原文地址:http://uusama.com/458.html


以上內(nèi)容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號