MySQL數(shù)據(jù)庫分表分區(qū)

2018-06-08 17:40 更新

防偽碼:當(dāng)你終于沉默,成熟才剛剛開始。

為什么要分表和分區(qū)?

我們的數(shù)據(jù)庫數(shù)據(jù)越來越大,隨之而來的是單個表中數(shù)據(jù)太多。以至于查詢書讀變慢,而且

由于表的鎖機(jī)制導(dǎo)致應(yīng)用操作也搜到嚴(yán)重影響,出現(xiàn)了數(shù)據(jù)庫性能瓶頸。

mysql 中有一種機(jī)制是表鎖定和行鎖定,是為了保證數(shù)據(jù)的完整性。表鎖定表示你們都不能

對這張表進(jìn)行操作,必須等我對表操作完才行。行鎖定也一樣,別的 sql 必須等我對這條數(shù)

據(jù)操作完了,才能對這條數(shù)據(jù)進(jìn)行操作。當(dāng)出現(xiàn)這種情況時,我們可以考慮分表或分區(qū)。

1、分表

什么是分表?

分表是將一個大表按照一定的規(guī)則分解成多張具有獨(dú)立存儲空間的實(shí)體表,每個表都對應(yīng)三

個文件,MYD 數(shù)據(jù)文件,.MYI 索引文件,.frm 表結(jié)構(gòu)文件。這些表可以分布在同一塊磁盤

上,也可以在不同的機(jī)器上。app 讀寫的時候根據(jù)事先定義好的規(guī)則得到對應(yīng)的表名,然后

去操作它。

將單個數(shù)據(jù)庫表進(jìn)行拆分,拆分成多個數(shù)據(jù)表,然后用戶訪問的時候,根據(jù)一定的算法(如

用 hash 的方式,也可以用求余(取模)的方式),讓用戶訪問不同的表,這樣數(shù)據(jù)分散到多

個數(shù)據(jù)表中,減少了單個數(shù)據(jù)表的訪問壓力。提升了數(shù)據(jù)庫訪問性能。分表的目的就在于此,

減小數(shù)據(jù)庫的負(fù)擔(dān),縮短查詢時間。

Mysql 分表分為垂直切分和水平切分

垂直切分是指數(shù)據(jù)表列的拆分,把一張列比較多的表拆分為多張表

通常我們按以下原則進(jìn)行垂直拆分:

把不常用的字段單獨(dú)放在一張表;

把 text,blob(binary large object,二進(jìn)制大對象)等大字段拆分出來放在附表中;

經(jīng)常組合查詢的列放在一張表中;

垂直拆分更多時候就應(yīng)該在數(shù)據(jù)表設(shè)計之初就執(zhí)行的步驟,然后查詢的時候用 jion 關(guān)鍵起來

即可。

水平拆分是指數(shù)據(jù)表行的拆分,把一張的表的數(shù)據(jù)拆成多張表來存放。

水平拆分原則

通常情況下,我們使用 hash、取模等方式來進(jìn)行表的拆分

比如一張有 400W 的用戶表 users,為提高其查詢效率我們把其分成 4 張表 users1,users2,

users3,users4

通過用 ID 取模的方法把數(shù)據(jù)分散到四張表內(nèi) Id%4= [0,1,2,3]

然后查詢,更新,刪除也是通過取模的方法來查詢

部分業(yè)務(wù)邏輯也可以通過地區(qū),年份等字段來進(jìn)行歸檔拆分;

進(jìn)行拆分后的表,這時我們就要約束用戶查詢行為。比如我們是按年來進(jìn)行拆分的,這個時

候在頁面設(shè)計上就約束用戶必須要先選擇年,然后才能進(jìn)行查詢。

分表的幾種方式:

1)mysql 集群

它并不是分表,但起到了和分表相同的作用。集群可分擔(dān)數(shù)據(jù)庫的操作次數(shù),將任務(wù)分擔(dān)到

多臺數(shù)據(jù)庫上。集群可以讀寫分離,減少讀寫壓力。從而提升數(shù)據(jù)庫性能。

2)預(yù)先估計會出現(xiàn)大數(shù)據(jù)量并且訪問頻繁的表,將其分為若干個表

根據(jù)一定的算法(如用 hash 的方式,也可以用求余(取模)的方式)讓用戶訪問不同的表。

例如論壇里面發(fā)表帖子的表,時間長了這張表肯定很大,幾十萬,幾百萬都有可能。聊天室

里面信息表,幾十個人在一起一聊一個晚上,時間長了,這張表的數(shù)據(jù)肯定很大。像這樣的

情況很多。所以這種能預(yù)估出來的大數(shù)據(jù)量表,我們就事先分出個 N 個表,這個 N 是多少,

根據(jù)實(shí)際情況而定。以聊天信息表為例:我們事先建 100 個這樣的表,

message_00,message_01,message_02..........message_98,message_99.然后根據(jù)用戶的 ID 來判

斷這個用戶的聊天信息放到哪張表里面,可以用 hash 的方式來獲得,也可以用求余的方式

來獲得,方法很多。

或者可以設(shè)計每張表容納的數(shù)據(jù)量是 N 條,那么如何判斷某張表的數(shù)據(jù)是否容量已滿呢?

可以在程序段對于要新增數(shù)據(jù)的表,在插入前先做統(tǒng)計表記錄數(shù)量的操作,當(dāng)<N 條數(shù)據(jù),

就直接插入,當(dāng)已經(jīng)到達(dá)閥值,可以在程序段新創(chuàng)建數(shù)據(jù)庫表(或者已經(jīng)事先創(chuàng)建好),再

執(zhí)行插入操作)。

3)利用 merge 存儲引擎來實(shí)現(xiàn)分表

如果要把已有的大數(shù)據(jù)量表分開比較痛苦,最痛苦的事就是改代碼,因?yàn)槌绦蚶锩娴?sql 語

句已經(jīng)寫好了,用 merge 存儲引擎來實(shí)現(xiàn)分表, 這種方法比較適合。

merge 分表,分為主表和子表,主表類似于一個殼子,邏輯上封裝了子表,實(shí)際上數(shù)據(jù)都是

存儲在子表中的。

我們可以通過主表插入和查詢數(shù)據(jù),如果清楚分表規(guī)律,也可以直接操作子表。

下面我們來實(shí)現(xiàn)一個簡單的利用 merge 存儲引擎來實(shí)現(xiàn)分表的演示:

創(chuàng)建一個完整表存儲著所有的成員信息(表名為 member)

mysql> drop database IF EXISTS test;

mysql> use test;

create table member(

id big int auto_increment primary key,

name varchar(20),

sex tiny int not nulldefault '0'

)engine=myisamdefault charset=utf8 auto_increment=1;

加入點(diǎn)數(shù)據(jù):

mysql> insert into member(name,sex) values('tom1',1);

mysql> insert into member(name,sex) select name,sex from member;

第二條語句多執(zhí)行幾次就有了很多數(shù)據(jù)

mysql> select * from member;

+----+------+-----+

| id | name | sex |

+----+------+-----+

| 1 | tom1 | 1 |

| 2 | tom1 | 1 |

| 3 | tom1 | 1 |

| 4 | tom1 | 1 |

| 5 | tom1 | 1 |

| 6 | tom1 | 1 |

| 7 | tom1 | 1 |

| 8 | tom1 | 1 |

| 9 | tom1 | 1 |

| 10 | tom1 | 1 |

| 11 | tom1 | 1 |

| 12 | tom1 | 1 |

| 13 | tom1 | 1 |

| 14 | tom1 | 1 |

| 15 | tom1 | 1 |

| 16 | tom1 | 1 |

+----+------+-----+

下面我們進(jìn)行分表,這里我們把 member 分兩個表 tb_member1,tb_member2

mysql> use test;

DROP table IF EXISTS tb_member1;

create table tb_member1(

id big int primary key ,

name varchar(20),

sex tiny int not null default '0'

)ENGINE=MyISAM DEFAULT CHARSET=utf8 ;

DROP table IF EXISTS tb_member2;

create table tb_member2(

idbigint primary key,

name varchar(20),

sextinyint not null default '0'

)ENGINE=MyISAM DEFAULT CHARSET=utf8;

//創(chuàng)建 tb_member2 也可以用下面的語句 create table tb_member2 like tb_member1;

創(chuàng)建主表 tb_member

DROP table IF EXISTS tb_member;

create table tb_member(

id bigint primary key ,

name varchar(20),

sex tinyint not null default '0'

) ENGINE=MERGEUNION=(tb_member1,tb_member2) INSERT_METHOD=LAST CHARSET=utf8 ;

注:INSERT_METHOD,此參數(shù)INSERT_METHOD = NO 表示該表不能做任何寫入操作只作為查

詢使用,INSERT_METHOD = LAST 表示插入到最后的一張表里面。INSERT_METHOD = first 表示

插入到第一張表里面。

查看一下 tb_member 表的結(jié)構(gòu):

mysql>desc tb_member;

mysql>desc tb_member;

+-------+-------------+------+-----+---------+-----------------------------------------+

| Field | Type | Null | Key | Default | Extra |

+-------+-------------+------+-----+---------+-----------------------------------------+

| id | bigint(20) | NO | PRI | NULL | auto_increment |

| name | varchar(20) | YES | | NULL | |

| sex | tinyint(4) | NO | | 0 | |

+-------+-------------+------+-----+---------+------------------------------------------+

3 rows in set (0.00 sec)

注:查看子表與主表的字段定義要一致

接下來,我們把數(shù)據(jù)分到兩個分表中去:

mysql> insert into tb_member1(id,name,sex) select id,name,sex from member where id%2=0;

mysql> insert into tb_member2(id,name,sex) select id,name,sex from member where id%2=1;

查看兩個子表的數(shù)據(jù):

mysql> select * from tb_member1;

+----+------+-----+

| id | name | sex |

+----+------+-----+

| 16 | tom1 | 1 |

| 14 | tom1 | 1 |

| 12 | tom1 | 1 |

| 10 | tom1 | 1 |

| 8 | tom1 | 1 |

| 6 | tom1 | 1 |

| 4 | tom1 | 1 |

| 2 | tom1 | 1 |

+----+------+-----+

8 rows in set (0.00 sec)

mysql> select * from tb_member2;

+----+------+-----+

| id | name | sex |

+----+------+-----+

| 3 | tom1 | 1 |

| 1 | tom1 | 1 |

| 5 | tom1 | 1 |

| 7 | tom1 | 1 |

| 9 | tom1 | 1 |

| 11 | tom1 | 1 |

| 13 | tom1 | 1 |

| 15 | tom1 | 1 |

+----+------+-----+

8 rows in set (0.00 sec)

查看一下主表的數(shù)據(jù):

mysql> select * from tb_member;

+----+------+-----+

| id | name | sex |

+----+------+-----+

| 16 | tom1 | 1 |

| 14 | tom1 | 1 |

| 12 | tom1 | 1 |

| 10 | tom1 | 1 |

| 8 | tom1 | 1 |

| 6 | tom1 | 1 |

| 4 | tom1 | 1 |

| 2 | tom1 | 1 |

| 15 | tom1 | 1 |

| 13 | tom1 | 1 |

| 11 | tom1 | 1 |

| 9 | tom1 | 1 |

| 7 | tom1 | 1 |

| 5 | tom1 | 1 |

| 3 | tom1 | 1 |

| 1 | tom1 | 1 |

+----+------+-----+

16 rows in set (0.00 sec)

mysql> select * from tb_member where id=3;

+----+------+-----+

| id | name | sex |

+----+------+-----+

| 3 | tom1 | 1 |

+----+------+-----+

1 row in set (0.00 sec)

注意:總表只是一個外殼,存取數(shù)據(jù)發(fā)生在一個一個的子表里面。

注意:每個子表都有自已獨(dú)立的相關(guān)表文件,而主表只是一個殼,并沒有完整的相關(guān)表文件

[root@localhost ~]# ls -l /usr/local/mysql/data/test/tb_member*

-rw-r-----. 1 mysqlmysql 8614 Sep 15 21:49 /usr/local/mysql/data/test/tb_member1.frm

-rw-r-----. 1 mysqlmysql 320 Sep 16 00:02 /usr/local/mysql/data/test/tb_member1.MYD

-rw-r-----. 1 mysqlmysql 2048 Sep 16 00:43 /usr/local/mysql/data/test/tb_member1.MYI

-rw-r-----. 1 mysqlmysql 8614 Sep 15 21:50 /usr/local/mysql/data/test/tb_member2.frm

-rw-r-----. 1 mysqlmysql 180 Sep 16 00:02 /usr/local/mysql/data/test/tb_member2.MYD

-rw-r-----. 1 mysqlmysql 2048 Sep 16 00:43 /usr/local/mysql/data/test/tb_member2.MYI

-rw-r-----. 1 mysqlmysql 8614 Sep 16 21:12 /usr/local/mysql/data/test/tb_member3.frm

-rw-r-----. 1 mysqlmysql 0 Sep 16 21:12 /usr/local/mysql/data/test/tb_member3.MYD

-rw-r-----. 1 mysqlmysql 1024 Sep 16 21:12 /usr/local/mysql/data/test/tb_member3.MYI

-rw-r-----. 1 mysqlmysql 8614 Sep 16 21:14 /usr/local/mysql/data/test/tb_member.frm

-rw-r-----. 1 mysqlmysql 53 Sep 16 21:14 /usr/local/mysql/data/test/tb_member.MRG

2、分區(qū)

什么是分區(qū)?

分區(qū)和分表相似,都是按照規(guī)則分解表。不同在于分表將大表分解為若干個獨(dú)立的實(shí)體表,

而分區(qū)是將數(shù)據(jù)分段劃分在多個位置存放,分區(qū)后,表還是一張表,但數(shù)據(jù)散列到多個位置

了。app 讀寫的時候操作的還是表名字,db 自動去組織分區(qū)的數(shù)據(jù)。

分區(qū)主要有兩種形式:

水平分區(qū)(Horizontal Partitioning)這種形式分區(qū)是對表的行進(jìn)行分區(qū),所有在表中定義的

列在每個數(shù)據(jù)集中都能找到,所以表的特性依然得以保持。

舉個簡單例子:一個包含十年發(fā)票記錄的表可以被分區(qū)為十個不同的分區(qū),每個分區(qū)包含的

是其中一年的記錄。

垂直分區(qū)(Vertical Partitioning)這種分區(qū)方式一般來說是通過對表的垂直劃分來減少目標(biāo)表

的寬度,使某些特定的列被劃分到特定的分區(qū),每個分區(qū)都包含了其中的列所對應(yīng)的行。

舉個簡單例子:一個包含了大 text 和 BLOB 列的表,這些 text 和 BLOB 列又不經(jīng)常被訪問,

這時候就要把這些不經(jīng)常使用的 text 和 BLOB 了劃分到另一個分區(qū),在保證它們數(shù)據(jù)相關(guān)性

的同時還能提高訪問速度。

分區(qū)技術(shù)支持

在 5.6 之前,使用這個參數(shù)查看當(dāng)將配置是否支持分區(qū)

mysql> SHOW  VARIABLES LIKE '%partition%';

+-----------------------+---------------+

|Variable_name | Value |

+-----------------------+---------------+

| have_partition_engine | YES |

+-----------------------+------------------+

如果是 yes 表示你當(dāng)前的配置支持分區(qū)

在 5.6 及以采用后,則采用如下方式進(jìn)行查看

mysql> show plugins;

在顯示結(jié)果中,可以看到 partition 是 ACTIVE 的,表示支持分區(qū)

下面我們先演示一個按照范圍(range)方式的表分區(qū)

創(chuàng)建 range 分區(qū)表

mysql> use test2;

mysql> create table if not exists user (

->idint not null auto_increment,

->name varchar(30) not null default '',

->sexint(1) not null default '0',

->primary key(id)

-> )default charset=utf8 auto_increment=1

->partition by range(id) (

->partition p0 values less than (3),

->partition p1 values less than (6),

->partition p2 values less than (9),

->partition p3 values less than (12),

->partition p4 values less than maxvalue

-> );

插入些數(shù)據(jù)

mysql> insert into test2.user(name,sex)values ('tom1','0');

mysql> insert into test2.user(name,sex)values ('tom2','1');

mysql> insert into test2.user(name,sex)values ('tom3','1');

mysql> insert into test2.user(name,sex)values ('tom4','0');

mysql> insert into test2.user(name,sex)values ('tom5','0');

mysql> insert into test2.user(name,sex)values ('tom6','1');

mysql> insert into test2.user(name,sex)values ('tom7','1');

mysql> insert into test2.user(name,sex)values ('tom8','1');

mysql> insert into test2.user(name,sex)values ('tom9','1');

mysql> insert into test2.user(name,sex)values ('tom10','1');

mysql> insert into test2.user(name,sex)values ('tom11','1');

mysql> insert into test2.user(name,sex)values ('tom12','1');

mysql> insert into test2.user(name,sex)values ('tom13','1');

mysql> insert into test2.user(name,sex)values ('tom14','1');

到存放數(shù)據(jù)庫表文件的地方看一下

[root@localhost ~]# ls -l /usr/local/mysql/data/test2/user*

-rw-r-----. 1 mysqlmysql 8614 Sep 16 21:46 /usr/local/mysql/data/test2/user.frm

-rw-r-----. 1 mysqlmysql 98304 Sep 16 21:48 /usr/local/mysql/data/test2/user#P#p0.ibd

-rw-r-----. 1 mysqlmysql 98304 Sep 16 21:48 /usr/local/mysql/data/test2/user#P#p1.ibd

-rw-r-----. 1 mysqlmysql 98304 Sep 16 21:49 /usr/local/mysql/data/test2/user#P#p2.ibd

-rw-r-----. 1 mysqlmysql 98304 Sep 16 21:49 /usr/local/mysql/data/test2/user#P#p3.ibd

-rw-r-----. 1 mysqlmysql 98304 Sep 16 21:49 /usr/local/mysql/data/test2/user#P#p4.ibd

mysql> select count(id) as count from user;

+-------+

| count |

+-------+

| 14 |

+-------+

1 row in set (0.00 sec)

從 information_schema 系統(tǒng)庫中的 partitions 表中查看分區(qū)信息

mysql> select * from information_schema.partitions where table_schema='test2' and

table_name='user'\G;

從某個分區(qū)中查詢數(shù)據(jù)

mysql> select * from test2.user partition(p0);

新增分區(qū)

mysql> alter table test2.user add partition (partition partionname values less than (n));

刪除分區(qū)

當(dāng)刪除了一個分區(qū),也同時刪除了該分區(qū)中所有的數(shù)據(jù)。

ALTER TABLE test2.user DROP PARTITION p3;

分區(qū)的合并

下面的 SQL,將 p1 – p3 合并為 2 個分區(qū) p01– p02

mysql> alter table test2.user

-> reorganize partition p1,p2,p3 into

-> (partition p01 values less than (8),

->partition p02 values less than (12)

-> );

[root@localhost ~]# ls -l /usr/local/mysql/data/test2/user*

-rw-r-----. 1 mysqlmysql 8614 Sep 16 22:06 /usr/local/mysql/data/test2/user.frm

-rw-r-----. 1 mysqlmysql 98304 Sep 16 22:06 /usr/local/mysql/data/test2/user#P#p01.ibd

-rw-r-----. 1 mysqlmysql 98304 Sep 16 22:06 /usr/local/mysql/data/test2/user#P#p02.ibd

-rw-r-----. 1 mysqlmysql 98304 Sep 16 21:48 /usr/local/mysql/data/test2/user#P#p0.ibd

-rw-r-----. 1 mysqlmysql 98304 Sep 16 21:49 /usr/local/mysql/data/test2/user#P#p4.ibd

mysql> select * from test2.user partition(p01);

+----+------+-----+

| id | name | sex |

+----+------+-----+

| 3 | tom3 | 1 |

| 4 | tom4 | 0 |

| 5 | tom5 | 0 |

| 6 | tom6 | 1 |

| 7 | tom7 | 1 |

+----+------+-----+

5 rows in set (0.00 sec)

未分區(qū)表和分區(qū)表性能測試

創(chuàng)建一個未分區(qū)的表

mysql> create table test2.tab1(c1 int,c2 varchar(30),c3 date);

創(chuàng)建分區(qū)表,按日期的年份拆分

mysql> CREATE TABLE test2.tab2 ( c1 int, c2 varchar(30) , c3 date )

PARTITION BY RANGE (year(c3)) (PARTITION p0 VALUES LESS THAN (1995),

PARTITION p1 VALUES LESS THAN (1996) , PARTITION p2 VALUES LESS THAN (1997) ,

PARTITION p3 VALUES LESS THAN (1998) , PARTITION p4 VALUES LESS THAN (1999) ,

PARTITION p5 VALUES LESS THAN (2000) , PARTITION p6 VALUES LESS THAN (2001) ,

PARTITION p7 VALUES LESS THAN (2002) , PARTITION p8 VALUES LESS THAN (2003) ,

PARTITION p9 VALUES LESS THAN (2004) , PARTITION p10 VALUES LESS THAN (2010),

PARTITION p11 VALUES LESS THAN MAXVALUE );

注意:最后一行,考慮到可能的最大值

通過存儲過程插入 100 萬條測試數(shù)據(jù)

創(chuàng)建存儲過程:

mysql> delimiter $$//指定存儲過程結(jié)束符

mysql>CREATE PROCEDURE load_part_tab()

begin

declare v int default 0;

while v < 1000000

do

insert into test2.tab1

values (v,'testing partitions',adddate('1995-01-01',(rand(v)*36520) mod 3652));

set v = v + 1;

end while;

end

$$

注:RAND()函數(shù)在 0 和 1 之間產(chǎn)生一個隨機(jī)數(shù),如果一個整數(shù)參數(shù) N 被指定,它被用作種

子值。每個種子產(chǎn)生的隨機(jī)數(shù)序列是不同的。

執(zhí)行存儲過程 load_part_tab 向 test2.tab1 表插入數(shù)據(jù)

mysql> delimiter ;

mysql> call load_part_tab();

向 test2.tab2 表中插入數(shù)據(jù)

mysql> insert into test2.tab2 select * from test2.tab1;

測試 SQL 性能

mysql> select count(*) from test2.tab1 where c3 > '1995-01-01' and c3 < '1995-12-31';

+----------+

| count(*) |

+----------+

| 219642 |

+----------+

1 row in set (0.84 sec)

mysql> select count(*) from test2.tab2 where c3 > '1995-01-01' and c3 < '1995-12-31';

+----------+

| count(*) |

+----------+

| 219642 |

+----------+

1 row in set (0.09 sec)

結(jié)果表明分區(qū)表比未分區(qū)表的執(zhí)行時間少很多。

通過 explain 語句來分析執(zhí)行情況

mysql> flush tables;

mysql> explain select count(*) from test2.tab1 where c3 > '1995-01-01' and c3 < '1995-12-31'\G;

*************************** 1. row ***************************

id: 1

select_type: SIMPLE

table: tab1

partitions: NULL

type: ALL

possible_keys: NULL

key: NULL

key_len: NULL

ref: NULL

rows: 2001552

filtered: 11.11

Extra: Using where

1 row in set, 1 warning (0.00 sec)

mysql> explain select count(*) from test2.tab2 where c3 > '1995-01-01' and c3 < '1995-12-31'\G;

*************************** 1. row ***************************

id: 1

select_type: SIMPLE

table: tab2

partitions: p1

type: ALL

possible_keys: NULL

key: NULL

key_len: NULL

ref: NULL

rows: 220206

filtered: 11.11

Extra: Using where

1 row in set, 1 warning (0.00 sec)

explain 語句顯示了 SQL 查詢要處理的記錄數(shù)目可以看出分區(qū)表比未分區(qū)表的明顯掃描的記

錄要少很多。

創(chuàng)建索引后情況測試

mysql> create index idx_of_c3 on test2.tab1(c3);

Query OK, 0 rows affected (5.07 sec)

Records: 0 Duplicates: 0 Warnings: 0

mysql> create index idx_of_c3 on test2.tab2(c3);

Query OK, 0 rows affected (4.87 sec)

Records: 0 Duplicates: 0 Warnings: 0

mysql> flush tables;

mysql> select count(*) from test2.tab1 where c3 > '1996-01-01' and c3 < '1996-12-31';

+----------+

| count(*) |

+----------+

| 220264 |

+----------+

1 row in set (0.12 sec)

重啟 mysqld 服務(wù)

mysql> select count(*) from test2.tab2 where c3 > '1996-01-01' and c3 < '1996-12-31';

+----------+

| count(*) |

+----------+

| 220264 |

+----------+

1 row in set (0.11 sec)

創(chuàng)建索引后分區(qū)表比未分區(qū)表相差不大(數(shù)據(jù)量越大差別會明顯些)

mysql 分區(qū)的類型

1.RANGE 分區(qū)

基于屬于一個給定連續(xù)區(qū)間的列值,把多行分配給分區(qū)。這些區(qū)間要連續(xù)且不能相互重疊,

使用 VALUES LESS THAN 操作符來進(jìn)行定義。以下是實(shí)例。

CREATE TABLE employees (

id INT NOT NULL,

fname VARCHAR(30),

lname VARCHAR(30),

hired DATE NOT NULL DEFAULT '1970-01-01',

separated DATE NOT NULL DEFAULT '9999-12-31',

job_code INT NOT NULL,

store_id INT NOT NULL

)

partition BY RANGE (store_id) (

partition p0 VALUES LESS THAN (6),

partition p1 VALUES LESS THAN (11),

partition p2 VALUES LESS THAN (16),

partition p3 VALUES LESS THAN (21)

);

按照這種分區(qū)方案,在商店 1 到 5 工作的雇員相對應(yīng)的所有行被保存在分區(qū) P0 中,商店 6

到 10 的雇員保存在 P1 中,依次類推。注意,每個分區(qū)都是按順序進(jìn)行定義,從最低到最高。

對于包含數(shù)據(jù)(72, 'Michael', 'Widenius', '1998-06-25', NULL, 13)的一個新行,可以很容易地確

定它將插入到 p2 分區(qū)中,但是如果增加了一個編號為第 21 的商店,將會發(fā)生什么呢?在這

種方案下,由于沒有規(guī)則把 store_id 大于 20 的商店包含在內(nèi),服務(wù)器將不知道把該行保存

在何處,將會導(dǎo)致錯誤。要避免這種錯誤,可以創(chuàng)建 maxvalue 分區(qū),所有不在指定范圍內(nèi)

的記錄都會被存儲到 maxvalue 所在的分區(qū)中。

mysql> alter table test2.user add partition (partition p4 values less than maxvalue);

2.LIST 分區(qū)

類似于按 RANGE 分區(qū),區(qū)別在于 LIST 分區(qū)是基于列值匹配一個離散值集合中的某個值來進(jìn)

行選擇。

LIST 分區(qū)通過使用“PARTITION BY LIST(expr)”來實(shí)現(xiàn),其中“expr” 是某列值或一個基于某個列

值、并返回一個整數(shù)值的表達(dá)式,然后通過“VALUES IN (value_list)”的方式來定義每個分區(qū),

其中“value_list”是一個通過逗號分隔的整數(shù)列表。

要按照屬于同一個地區(qū)商店的行保存在同一個分區(qū)中的方式來分割表,可以使用下面的

“CREATE TABLE”語句:

CREATE TABLE employees1 (

id INT NOT NULL,

fname VARCHAR(30),

lname VARCHAR(30),

hired DATE NOT NULL DEFAULT '1970-01-01',

separated DATE NOT NULL DEFAULT '9999-12-31',

job_code INT,

store_id INT

)

PARTITION BY LIST(store_id)

(

PARTITION pNorth VALUES IN (3,5,6,9,17),

PARTITION pEast VALUES IN (1,2,10,11,19,20),

PARTITION pWest VALUES IN (4,12,13,14,18),

PARTITION pCentral VALUES IN (7,8,15,16)

);

這使得在表中增加或刪除指定地區(qū)的雇員記錄變得容易起來。例如,假定西區(qū)的所有音像店

都賣給了其他公司。那么與在西區(qū)音像店工作雇員相關(guān)的所有記錄(行)可以使用查詢“ALTER

TABLE employees DROP PARTITION pWest;”來進(jìn)行刪除,它與具有同樣作用的 DELETE (刪

除)查詢“DELETE query DELETE FROM employees WHERE store_id IN (4,12,13,14,18);”比起來,

要有效得多。

要點(diǎn):如果試圖插入列值不在分區(qū)值列表中的一行時,那么“INSERT”查詢將失敗并報錯。例

如,假定 LIST 分區(qū)的采用上面的方案,下面的插入將失?。?/span>

INSERT INTO employees VALUES(224, 'Linus', 'Torvalds', '2002-05-01', '2004-10-12', 42, 21);

這是因?yàn)椤皊tore_id”列值 21 不能在用于定義分區(qū) pNorth, pEast, pWest,或 pCentral 的值列表中

找到。要重點(diǎn)注意的是,LIST 分區(qū)沒有類似如“VALUES LESS THAN MAXVALUE”這樣的包含其

他值在內(nèi)的定義。將要匹配的任何值都必須在值列表中找到。

3.HASH 分區(qū)

這種模式允許 DBA 通過對表的一個或多個列的 Hash Key 進(jìn)行計算,最后通過這個 Hash 碼不

同數(shù)值對應(yīng)的數(shù)據(jù)區(qū)域進(jìn)行分區(qū)。

hash 分區(qū)的目的是將數(shù)據(jù)均勻的分布到預(yù)先定義的各個分區(qū)中,保證各分區(qū)的數(shù)據(jù)量大致

一致。在 RANGE 和 LIST 分區(qū)中,必須明確指定一個給定的列值或列值集合應(yīng)該保存在哪個

分區(qū)中;而在 HASH 分區(qū)中,MYSQL 自動完成這些工作,用戶所要定一個列值或者表達(dá)式,

以及指定被分區(qū)的表將要被分割成的分區(qū)數(shù)量。

mysql> create table t_hash( a int(11), b datetime) partition by hash(year(b)) partitions 4;

hash 的分區(qū)函數(shù)頁需要返回一個整數(shù)值。partitions 子句中的值是一個非負(fù)整數(shù),不加的

partitions 子句的話,默認(rèn)為分區(qū)數(shù)為 1。

mysql> insert into t_hash values(1,'2010-04-01');

該記錄會被放入分區(qū) p2 中。因?yàn)椴迦?2010-04-01 進(jìn)入表 t_hash,那么

MOD(YEAR('2010-04-01'),4)=2

mysql> select * from information_schema.partitions where table_schema='test2' and

table_name='t_hash'\G;

*************************** 1. row ***************************

TABLE_CATALOG: def

TABLE_SCHEMA: test2

TABLE_NAME: t_hash

PARTITION_NAME: p0

SUBPARTITION_NAME: NULL

PARTITION_ORDINAL_POSITION: 1

SUBPARTITION_ORDINAL_POSITION: NULL

PARTITION_METHOD: HASH

SUBPARTITION_METHOD: NULL

PARTITION_EXPRESSION: year(b)

SUBPARTITION_EXPRESSION: NULL

PARTITION_DESCRIPTION: NULL

TABLE_ROWS: 0

AVG_ROW_LENGTH: 0

DATA_LENGTH: 16384

MAX_DATA_LENGTH: NULL

INDEX_LENGTH: 0

DATA_FREE: 0

CREATE_TIME: 2016-09-16 22:48:59

UPDATE_TIME: 2016-09-17 23:36:22

CHECK_TIME: NULL

CHECKSUM: NULL

PARTITION_COMMENT:

NODEGROUP: default

TABLESPACE_NAME: NULL

*************************** 2. row ***************************

TABLE_CATALOG: def

TABLE_SCHEMA: test2

TABLE_NAME: t_hash

PARTITION_NAME: p1

SUBPARTITION_NAME: NULL

PARTITION_ORDINAL_POSITION: 2

SUBPARTITION_ORDINAL_POSITION: NULL

PARTITION_METHOD: HASH

SUBPARTITION_METHOD: NULL

PARTITION_EXPRESSION: year(b)

SUBPARTITION_EXPRESSION: NULL

PARTITION_DESCRIPTION: NULL

TABLE_ROWS: 0

AVG_ROW_LENGTH: 0

DATA_LENGTH: 16384

MAX_DATA_LENGTH: NULL

INDEX_LENGTH: 0

DATA_FREE: 0

CREATE_TIME: 2016-09-16 22:48:59

UPDATE_TIME: 2016-09-17 23:36:22

CHECK_TIME: NULL

CHECKSUM: NULL

PARTITION_COMMENT:

NODEGROUP: default

TABLESPACE_NAME: NULL

*************************** 3. row ***************************

TABLE_CATALOG: def

TABLE_SCHEMA: test2

TABLE_NAME: t_hash

PARTITION_NAME: p2

SUBPARTITION_NAME: NULL

PARTITION_ORDINAL_POSITION: 3

SUBPARTITION_ORDINAL_POSITION: NULL

PARTITION_METHOD: HASH

SUBPARTITION_METHOD: NULL

PARTITION_EXPRESSION: year(b)

SUBPARTITION_EXPRESSION: NULL

PARTITION_DESCRIPTION: NULL

TABLE_ROWS: 1

AVG_ROW_LENGTH: 16384

DATA_LENGTH: 16384

MAX_DATA_LENGTH: NULL

INDEX_LENGTH: 0

DATA_FREE: 0

CREATE_TIME: 2016-09-16 22:48:59

UPDATE_TIME: 2016-09-17 23:23:26

CHECK_TIME: NULL

CHECKSUM: NULL

PARTITION_COMMENT:

NODEGROUP: default

TABLESPACE_NAME: NULL

*************************** 4. row ***************************

TABLE_CATALOG: def

TABLE_SCHEMA: test2

TABLE_NAME: t_hash

PARTITION_NAME: p3

SUBPARTITION_NAME: NULL

PARTITION_ORDINAL_POSITION: 4

SUBPARTITION_ORDINAL_POSITION: NULL

PARTITION_METHOD: HASH

SUBPARTITION_METHOD: NULL

PARTITION_EXPRESSION: year(b)

SUBPARTITION_EXPRESSION: NULL

PARTITION_DESCRIPTION: NULL

TABLE_ROWS: 0

AVG_ROW_LENGTH: 0

DATA_LENGTH: 16384

MAX_DATA_LENGTH: NULL

INDEX_LENGTH: 0

DATA_FREE: 0

CREATE_TIME: 2016-09-16 22:48:59

UPDATE_TIME: 2016-09-17 23:23:26

CHECK_TIME: NULL

CHECKSUM: NULL

PARTITION_COMMENT:

NODEGROUP: default

TABLESPACE_NAME: NULL

4 rows in set (0.00 sec)

可以看到 P2 分區(qū)有一條記錄。當(dāng)前這個例子并不能把數(shù)據(jù)均勻的分布到各個分區(qū),因?yàn)榘?/span>

照 YEAR 函數(shù)進(jìn)行的,該值本身是離散的。如果對連續(xù)的值進(jìn)行 HASH分區(qū),如自增長的主

鍵,則可以較好地將數(shù)據(jù)平均分布。

請思考:

mysql> insert into t_hash values(1,'2012-04-01');

記錄會插入哪個分區(qū)?

4.key 分區(qū)

key 分區(qū)和 hash 分區(qū)相似,不同在于 hash 分區(qū)是用戶自定義函數(shù)進(jìn)行分區(qū),key 分區(qū)使用

mysql 數(shù)據(jù)庫提供的函數(shù)進(jìn)行分區(qū),NDB cluster 使用 MD5 函數(shù)來分區(qū),對于其他存儲引擎

mysql 使用內(nèi)部的 hash 函數(shù)。

mysql> create table t_key( a int(11), b datetime) partition by key(b) partitions 4;

上面的 RANGE、LIST、HASH、KEY 四種分區(qū)中,分區(qū)的條件必須是整形,如果不是整形需要

通過函數(shù)將其轉(zhuǎn)換為整形。

5.columns 分區(qū)

mysql-5.5 開始支持 COLUMNS 分區(qū),可視為 RANGE 和 LIST 分區(qū)的進(jìn)化,COLUMNS 分區(qū)可以

直接使用非整形數(shù)據(jù)進(jìn)行分區(qū)。COLUMNS 分區(qū)支持以下數(shù)據(jù)類型:

所有整形,如 INT SMALLINT TINYINT BIGINT。FLOAT 和 DECIMAL 則不支持。

日期類型,如 DATE 和 DATETIME。其余日期類型不支持。

字符串類型,如 CHAR、VARCHAR、BINARY 和 VARBINARY。BLOB 和 TEXT 類型不支持。

COLUMNS 可以使用多個列進(jìn)行分區(qū)。

mysql 分表和分區(qū)有什么區(qū)別呢

1、實(shí)現(xiàn)方式上

a) mysql 的分表是真正的分表,一張表分成很多表后,每一個小表都是完整的一張表,都

對應(yīng)三個文件,一個.MYD 數(shù)據(jù)文件,.MYI索引文件,.frm 表結(jié)構(gòu)文件。

b) 分區(qū)不一樣,一張大表進(jìn)行分區(qū)后,他還是一張表,不會變成二張表,但是他存放數(shù)據(jù)

的區(qū)塊變多了

2、數(shù)據(jù)處理上

a)分表后,數(shù)據(jù)都是存放在分表里,總表只是一個外殼,存取數(shù)據(jù)發(fā)生在一個一個的分表

里面。

b)分區(qū)呢,不存在分表的概念,分區(qū)只不過把存放數(shù)據(jù)的文件分成了許多小塊,分區(qū)后的

表呢,還是一張表,數(shù)據(jù)處理還是由自己來完成。

3、提高性能上

a)分表后,單表的并發(fā)能力提高了,磁盤 I/O 性能也提高了。并發(fā)能力為什么提高了呢,

因?yàn)椴閷ひ淮嗡ǖ臅r間變短了,如果出現(xiàn)高并發(fā)的話,總表可以根據(jù)不同的查詢,將并發(fā)

壓力分到不同的小表里面。

b)mysql 提出了分區(qū)的概念,主要是想突破磁盤 I/O 瓶頸,想提高磁盤的讀寫能力,來增加

mysql 性能。

在這一點(diǎn)上,分區(qū)和分表的測重點(diǎn)不同,分表重點(diǎn)是存取數(shù)據(jù)時,如何提高 mysql 并發(fā)能力

上;而分區(qū)呢,如何突破磁盤的讀寫能力,從而達(dá)到提高 mysql 性能的目的。

4、實(shí)現(xiàn)的難易度上

a)分表的方法有很多,用 merge 來分表,是最簡單的一種方式。這種方式跟分區(qū)難易度差

不多,并且對程序代碼來說可以做到透明的。如果是用其他分表方式就比分區(qū)麻煩了。

b)分區(qū)實(shí)現(xiàn)是比較簡單的,建立分區(qū)表,根建平常的表沒什么區(qū)別,并且對開代碼端來說

是透明的。

mysql 分表和分區(qū)有什么聯(lián)系?

1.都能提高 mysql 的性高,在高并發(fā)狀態(tài)下都有一個良好的表現(xiàn)。

2.分表和分區(qū)不矛盾,可以相互配合的,對于那些大訪問量,并且表數(shù)據(jù)比較多的表,我

們可以采取分表和分區(qū)結(jié)合的方式,訪問量不大,但是表數(shù)據(jù)很多的表,我們可以采取分區(qū)

的方式等。

3.分表技術(shù)是比較麻煩的,需要手動去創(chuàng)建子表,app 服務(wù)端讀寫時候需要計算子表名。采

用 merge 好一些,但也要創(chuàng)建子表和配置子表間的 union 關(guān)系。

4.表分區(qū)相對于分表,操作方便,不需要創(chuàng)建子表。

謝謝觀看,真心的希望能幫到您!

本文出自 “一盞燭光” 博客,謝絕轉(zhuǎn)載!

以上內(nèi)容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號