【MySQL | 运维篇】06、MySQL 分库分表之 MyCat 分片规则

创始人
2024-01-25 11:17:09
0次
一、范围分片
1. 介绍
2. 配置
schema.xml逻辑表配置：
schema.xml数据节点配置：
rule.xml分片规则配置：
二、取模分片
1. 介绍
2. 配置
schema.xml逻辑表配置：
schema.xml数据节点配置：
rule.xml分片规则配置：
三、一致性hash分片
1. 介绍
2. 配置
schema.xml中逻辑表配置：
schema.xml中数据节点配置：
rule.xml中分片规则配置：
3. 测试
四、枚举分片
1. 介绍
2. 配置
编辑 schema.xml中逻辑表配置：
schema.xml中数据节点配置：
rule.xml中分片规则配置：
partition-hash-int.txt ，内容如下 :
3. 测试
五、应用指定算法
1. 介绍
2. 配置
schema.xml中逻辑表配置：
schema.xml中数据节点配置：
rule.xml中分片规则配置：
分片规则属性含义：
示例说明 :
3. 测试
六、固定分片hash算法
1. 介绍
2. 配置
schema.xml中逻辑表配置：
schema.xml中数据节点配置：
rule.xml中分片规则配置：
3. 测试
七、字符串hash解析算法
1. 介绍
2. 配置
schema.xml中逻辑表配置：
schema.xml中数据节点配置：
rule.xml中分片规则配置：
3. 测试
八、按天分片算法
1. 介绍
2. 配置
schema.xml中逻辑表配置：
schema.xml中数据节点配置：
rule.xml中分片规则配置：
3. 测试
九、自然月分片
1. 介绍
2. 配置
schema.xml中逻辑表配置：
schema.xml中数据节点配置：
rule.xml中分片规则配置：
3. 测试
一、范围分片

1. 介绍

根据指定的字段及其配置的范围与数据节点的对应情况，来决定该数据属于哪一个分片。
2. 配置

schema.xml逻辑表配置：

schema.xml数据节点配置：


rule.xml分片规则配置：
idrang-long
autopartition-long.txt0
分片规则配置属性含义：
        在rule.xml中配置分片规则时，关联了一个映射配置文件 autopartition-long.txt，该配置文
 件的配置如下： 
# range start-end ,data node index
# K=1000,M=10000.
0-500M=0
500M-1000M=1
1000M-1500M=2
        含义：0-500万之间的值，存储在0号数据节点(数据节点的索引从0开始) ； 500万-1000万之间的数据存储在1号数据节点 ； 1000万-1500万的数据节点存储在2号节点 ；该分片规则，主要是针对于数字类型的字段适用。 
二、取模分片
1. 介绍
根据指定的字段值与节点数量进行求模运算，根据运算结果， 来决定该数据属于哪一个分片。
2. 配置 
schema.xml逻辑表配置：
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
schema.xml数据节点配置：


rule.xml分片规则配置：
idmod-long
3
分片规则属性说明如下：
该分片规则，主要是针对于数字类型的字段适用。
三、一致性hash分片
1. 介绍
        所谓一致性哈希，相同的哈希因子计算值总是被划分到相同的分区表中，不会因为分区节点的增加而改变原来数据的分区位置，有效的解决了分布式数据的拓容问题。
2. 配置
 schema.xml中逻辑表配置：

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 schema.xml中数据节点配置：


 rule.xml中分片规则配置：
idmurmur
03160
分片规则属性含义：
3. 测试 
        配置完毕后，重新启动MyCat，然后在mycat的命令行中，执行如下SQL创建表、并插入数据，查看数据分布情况。
create table tb_order(id  varchar(100) not null primary key,money   int null,content varchar(200) null
);INSERT INTO tb_order (id, money, content) VALUES ('b92fdaaf-6fc4-11ec-b831-482ae33c4a2d', 10, 'b92fdaf8-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b93482b6-6fc4-11ec-b831-482ae33c4a2d', 20, 'b93482d5-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b937e246-6fc4-11ec-b831-482ae33c4a2d', 50, 'b937e25d-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b93be2dd-6fc4-11ec-b831-482ae33c4a2d', 100, 'b93be2f9-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b93f2d68-6fc4-11ec-b831-482ae33c4a2d', 130, 'b93f2d7d-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b9451b98-6fc4-11ec-b831-482ae33c4a2d', 30, 'b9451bcc-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b9488ec1-6fc4-11ec-b831-482ae33c4a2d', 560, 'b9488edb-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b94be6e6-6fc4-11ec-b831-482ae33c4a2d', 10, 'b94be6ff-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b94ee10d-6fc4-11ec-b831-482ae33c4a2d', 123, 'b94ee12c-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b952492a-6fc4-11ec-b831-482ae33c4a2d', 145, 'b9524945-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b95553ac-6fc4-11ec-b831-482ae33c4a2d', 543, 'b95553c8-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b9581cdd-6fc4-11ec-b831-482ae33c4a2d', 17, 'b9581cfa-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b95afc0f-6fc4-11ec-b831-482ae33c4a2d', 18, 'b95afc2a-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b95daa99-6fc4-11ec-b831-482ae33c4a2d', 134, 'b95daab2-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b9667e3c-6fc4-11ec-b831-482ae33c4a2d', 156, 'b9667e60-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b96ab489-6fc4-11ec-b831-482ae33c4a2d', 175, 'b96ab4a5-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b96e2942-6fc4-11ec-b831-482ae33c4a2d', 180, 'b96e295b-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b97092ec-6fc4-11ec-b831-482ae33c4a2d', 123, 'b9709306-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b973727a-6fc4-11ec-b831-482ae33c4a2d', 230, 'b9737293-6fc4-11ec-b831-482ae33c4a2d');
INSERT INTO tb_order (id, money, content) VALUES ('b978840f-6fc4-11ec-b831-482ae33c4a2d', 560, 'b978843c-6fc4-11ec-b831-482ae33c4a2d');
四、枚举分片
1. 介绍
        通过在配置文件中配置可能的枚举值, 指定数据分布到不同数据节点上, 本规则适用于按照省份、性别、状态拆分数据等业务 。
2. 配置 
 schema.xml中逻辑表配置：

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
schema.xml中数据节点配置：


rule.xml中分片规则配置：
sharding_idhash-int

statushash-int
2partition-hash-int.txt
partition-hash-int.txt ，内容如下 :
1=0
2=1
3=2
分片规则属性含义：
3. 测试
        配置完毕后，重新启动MyCat，然后在mycat的命令行中，执行如下SQL创建表、并插入数据，查看数据分布情况。 
CREATE TABLE tb_user (id bigint(20) NOT NULL COMMENT 'ID',username varchar(200) DEFAULT NULL COMMENT '姓名',status int(2) DEFAULT '1' COMMENT '1: 未启用, 2: 已启用, 3: 已关闭',PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;insert into tb_user (id,username ,status) values(1,'Tom',1);
insert into tb_user (id,username ,status) values(2,'Cat',2);
insert into tb_user (id,username ,status) values(3,'Rose',3);
insert into tb_user (id,username ,status) values(4,'Coco',2);
insert into tb_user (id,username ,status) values(5,'Lily',1);
insert into tb_user (id,username ,status) values(6,'Tom',1);
insert into tb_user (id,username ,status) values(7,'Cat',2);
insert into tb_user (id,username ,status) values(8,'Rose',3);
insert into tb_user (id,username ,status) values(9,'Coco',2);
insert into tb_user (id,username ,status) values(10,'Lily',1);
五、应用指定算法
1. 介绍
运行阶段由应用自主决定路由到那个分片 , 直接根据字符子串（必须是数字）计算分片号。
2. 配置 
schema.xml中逻辑表配置：

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
schema.xml中数据节点配置：


 rule.xml中分片规则配置：
idsharding-by-substring
0 230
分片规则属性含义：
示例说明 :   
        id=05-100000002 , 在此配置中代表根据id中从 startIndex=0，开始，截取siz=2位数字即
 05，05就是获取的分区，如果没找到对应的分片则默认分配到defaultPartition 。 
3. 测试
        配置完毕后，重新启动MyCat，然后在mycat的命令行中，执行如下SQL创建表、并插入数据，查看数据分布情况。
CREATE TABLE tb_app (id varchar(10) NOT NULL COMMENT 'ID',name varchar(200) DEFAULT NULL COMMENT '名称',PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;insert into tb_app (id,name) values('0000001','Testx00001');
insert into tb_app (id,name) values('0100001','Test100001');
insert into tb_app (id,name) values('0100002','Test200001');
insert into tb_app (id,name) values('0200001','Test300001');
insert into tb_app (id,name) values('0200002','TesT400001');
六、固定分片hash算法
1. 介绍
        该算法类似于十进制的求模运算，但是为二进制的操作，例如，取 id 的二进制低 10 位 与
 1111111111 进行位 & 运算，位与运算最小值为 0000000000，最大值为1111111111，转换为十
 进制，也就是位于0-1023之间。
特点：
如果是求模，连续的值，分别分配到各个不同的分片；但是此算法会将连续的值可能分配到相同的分片，降低事务处理的难度。
可以均匀分配，也可以非均匀分配。
分片字段必须为数字类型。 
2. 配置
schema.xml中逻辑表配置： 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

 
 
 
schema.xml中数据节点配置：


rule.xml中分片规则配置：
idsharding-by-long-hash

2,1256,512
分片规则属性含义：
约束 :
1). 分片长度 : 默认最大2^10 , 为 1024 ;
2). count, length的数组长度必须是一致的 ;
以上分为三个分区:0-255,256-511,512-1023 
示例说明 :
3. 测试
        配置完毕后，重新启动MyCat，报错：不能找到funcl
原因是我们前面把 rule.xml 里的  
然后重新启动MyCat，在mycat的命令行中，执行如下SQL创建表、并插入数据，查看数据分布情况。 
CREATE TABLE tb_longhash (id int(11) NOT NULL COMMENT 'ID',name varchar(200) DEFAULT NULL COMMENT '名称',firstChar char(1)  COMMENT '首字母',PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;insert into tb_longhash (id,name,firstChar) values(1,'七匹狼','Q');
insert into tb_longhash (id,name,firstChar) values(2,'八匹狼','B');
insert into tb_longhash (id,name,firstChar) values(3,'九匹狼','J');
insert into tb_longhash (id,name,firstChar) values(4,'十匹狼','S');
insert into tb_longhash (id,name,firstChar) values(5,'六匹狼','L');
insert into tb_longhash (id,name,firstChar) values(6,'五匹狼','W');
insert into tb_longhash (id,name,firstChar) values(7,'四匹狼','S');
insert into tb_longhash (id,name,firstChar) values(8,'三匹狼','S');
insert into tb_longhash (id,name,firstChar) values(9,'两匹狼','L');
七、字符串hash解析算法
1. 介绍
截取字符串中的指定位置的子字符串, 进行hash算法， 算出分片。
2. 配置
schema.xml中逻辑表配置： 

 
 
 
 
 
 
 
 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
schema.xml中数据节点配置：

rule.xml中分片规则配置：
namesharding-by-stringhash
512 20:2
分片规则属性含义：
示例说明：
 
3. 测试
        配置完毕后，重新启动MyCat，然后在mycat的命令行中，执行如下SQL创建表、并插入数据，查看数据分布情况。 
create table tb_strhash(name varchar(20) primary key,content varchar(100)
)engine=InnoDB DEFAULT CHARSET=utf8mb4;INSERT INTO tb_strhash (name,content) VALUES('T1001', UUID());
INSERT INTO tb_strhash (name,content) VALUES('ROSE', UUID());
INSERT INTO tb_strhash (name,content) VALUES('JERRY', UUID());
INSERT INTO tb_strhash (name,content) VALUES('CRISTINA', UUID());
INSERT INTO tb_strhash (name,content) VALUES('TOMCAT', UUID());
八、按天分片算法
1. 介绍
按照日期及对应的时间周期来分片。
2. 配置
schema.xml中逻辑表配置： 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
schema.xml中数据节点配置：


rule.xml中分片规则配置：
create_timesharding-by-date
yyyy-MM-dd2022-01-012022-01-3010

分片规则属性含义：
3. 测试      
        配置完毕后，重新启动MyCat，然后在mycat的命令行中，执行如下SQL创建表、并插入数据，查看数据分布情况。 
create table tb_datepart(id   bigint  not null comment 'ID'  primary key,name varchar(100) null comment '姓名',create_time date  null
);insert into tb_datepart(id,name ,create_time) values(1,'Tom','2022-01-01');
insert into tb_datepart(id,name ,create_time) values(2,'Cat','2022-01-10');
insert into tb_datepart(id,name ,create_time) values(3,'Rose','2022-01-11');
insert into tb_datepart(id,name ,create_time) values(4,'Coco','2022-01-20');
insert into tb_datepart(id,name ,create_time) values(5,'Rose2','2022-01-21');
insert into tb_datepart(id,name ,create_time) values(6,'Coco2','2022-01-30');
insert into tb_datepart(id,name ,create_time) values(7,'Coco3','2022-01-31');
九、自然月分片
1. 介绍
使用场景为按照月份来分片, 每个自然月为一个分片。
2. 配置
schema.xml中逻辑表配置： 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
schema.xml中数据节点配置：


rule.xml中分片规则配置：
create_timepartbymonth
yyyy-MM-dd2022-01-012022-03-31
分片规则属性含义：
3. 测试
        配置完毕后，重新启动MyCat，然后在mycat的命令行中，执行如下SQL创建表、并插入数据，查看数据分布情况。 
create table tb_monthpart(id   bigint  not null comment 'ID'  primary key,name varchar(100) null comment '姓名',create_time date  null
);insert into tb_monthpart(id,name ,create_time) values(1,'Tom','2022-01-01');
insert into tb_monthpart(id,name ,create_time) values(2,'Cat','2022-01-10');
insert into tb_monthpart(id,name ,create_time) values(3,'Rose','2022-01-31');
insert into tb_monthpart(id,name ,create_time) values(4,'Coco','2022-02-20');
insert into tb_monthpart(id,name ,create_time) values(5,'Rose2','2022-02-25');
insert into tb_monthpart(id,name ,create_time) values(6,'Coco2','2022-03-10');
insert into tb_monthpart(id,name ,create_time) values(7,'Coco3','2022-03-31');
insert into tb_monthpart(id,name ,create_time) values(8,'Coco4','2022-04-10');
insert into tb_monthpart(id,name ,create_time) values(9,'Coco5','2022-04-30');

                
                            

                
                    上一篇：C轮累积融资1亿美金 禾多科技如何靠自我造血能力赢得资本青睐？

                
                
                    下一篇：【3D目标检测】Frustum PointNets for 3D Object Detection from RGB-D Data                
            

                
                相关内容
                
            

                
            

        
        
            
            
                
                
                    
                    
                        
                        热门资讯
                        
                    
                    
                
                
            
            
            
            

                                
                
                    
                    
                        
                    
                    
                    
                    
                        喜欢穿一身黑的男生性格（喜欢穿...
                        今天百科达人给各位分享喜欢穿一身黑的男生性格的知识，其中也会对喜欢穿一身黑衣服的男人人好相处吗进行解...
                    
                    
                
                                
                
                    
                    
                        
                    
                    
                    
                    
                        发春是什么意思（思春和发春是什...
                        本篇文章极速百科给大家谈谈发春是什么意思，以及思春和发春是什么意思对应的知识点，希望对各位有所帮助，...
                    
                    
                
                                
                
                    
                    
                        
                    
                    
                    
                    
                        网络用语zl是什么意思（zl是...
                        今天给各位分享网络用语zl是什么意思的知识，其中也会对zl是啥意思是什么网络用语进行解释，如果能碰巧...
                    
                    
                
                                
                
                    
                    
                        
                    
                    
                    
                    
                        为什么酷狗音乐自己唱的歌不能下...
                        本篇文章极速百科小编给大家谈谈为什么酷狗音乐自己唱的歌不能下载到本地?，以及为什么酷狗下载的歌曲不是...
                    
                    
                
                                
                
                    
                    
                        
                    
                    
                    
                    
                        华为下载未安装的文件去哪找（华...
                        今天百科达人给各位分享华为下载未安装的文件去哪找的知识，其中也会对华为下载未安装的文件去哪找到进行解...
                    
                    
                
                                
                
                    
                    
                        
                    
                    
                    
                    
                        怎么往应用助手里添加应用（应用...
                        今天百科达人给各位分享怎么往应用助手里添加应用的知识，其中也会对应用助手怎么添加微信进行解释，如果能...
                    
                    
                
                                
                
                    
                    
                        
                    
                    
                    
                    
                        家里可以做假山养金鱼吗（假山能...
                        今天百科达人给各位分享家里可以做假山养金鱼吗的知识，其中也会对假山能放鱼缸里吗进行解释，如果能碰巧解...
                    
                    
                
                                
                
                    
                    
                        
                    
                    
                    
                    
                        四分五裂是什么生肖什么动物（四...
                        本篇文章极速百科小编给大家谈谈四分五裂是什么生肖什么动物，以及四分五裂打一生肖是什么对应的知识点，希...
                    
                    
                
                                
                
                    
                    
                        
                    
                    
                    
                    
                        一帆风顺二龙腾飞三阳开泰祝福语...
                        本篇文章极速百科给大家谈谈一帆风顺二龙腾飞三阳开泰祝福语，以及一帆风顺二龙腾飞三阳开泰祝福语结婚对应...
                    
                    
                
                                
                
                    
                    
                        
                    
                    
                    
                    
                        美团联名卡审核成功待激活（美团...
                        今天百科达人给各位分享美团联名卡审核成功待激活的知识，其中也会对美团联名卡审核未通过进行解释，如果能...
                    
                    
                
                
            
            
        
        
    

    
    
        
        
            2025 ©
            银财中国网
            
            发门网星闪网元素网太阳生活网深知网凰巢网深视网        
        
        
        
                        
                资讯
            
                        
                财经
            
                        
                社会
            
                        
                sitemap