數(shù)據(jù)庫中間件DBLE學習(二) 學習配置schema.xml

python_lover 2022-04-20

展開全文

前言

一邊有一個經(jīng)常引誘我讓我“娛樂至死”的視頻，還有一個不停“鞭策“我讓我快點學習的大BOSS。正是有這兩種極端的愛才讓我常常在自信中明白自己努力的方向。嗯,"人間不值得"！

SCHEMA.XML介紹

上一篇寫了：數(shù)據(jù)庫中間件DBLE學習(一) 基本介紹和快速搭建，主要介紹快速安裝。在安裝的過程中，我們配置了schema.xml文件。schema.xml是一個比較重要的文件。該文件提供了邏輯庫，邏輯表，分片規(guī)則，數(shù)據(jù)分片，物理數(shù)據(jù)庫等配置。它主要有以下幾個標簽組成。

schema標簽，主要是邏輯庫和邏輯表的配置，其中邏輯表又有多種類型，比如：全局表、分片表、ER分片表、非分片表等。
dataNode標簽，主要定義了數(shù)據(jù)分片存放的節(jié)點，一個dataNode標簽往往就對應著一個數(shù)據(jù)分片。
dataHost標簽，主要定義了物理數(shù)據(jù)庫及主從讀寫分離的配置。

實戰(zhàn)SCHEMA.XML配置

接下來我們來實戰(zhàn)一下，實戰(zhàn)就拿經(jīng)典PRODUCT表,ORDERS訂單表來做實驗。前面曾經(jīng)介紹過邏輯表拆分可以有很多種類型。首先我們先規(guī)劃一下，假設我們是一家新的電商公司，在電商平臺上賣自家公司生產(chǎn)的商品，我們的商品總共就5-6種，但擋不住客戶對我們生產(chǎn)的商品的喜愛，款款都是爆款啊，一經(jīng)發(fā)售訂單量就驚人。那么我們怎么來拆分庫表呢？

PRODUCTS產(chǎn)品表，就賣幾款爆品，我們要把它做成全局表。也就是每個分片上都有這個PRODUCTS產(chǎn)品表的數(shù)據(jù)。這樣不會有多大的消耗，畢竟這個表數(shù)據(jù)量小。也比較方便和分片表進行關聯(lián)。
ORDERS訂單表，有上千萬的訂單。這個數(shù)據(jù)量比較大，我們要把ORDERS表做成分片表。PRODUCTS產(chǎn)品表和ORDERS表存在一對多的關系。我們可以按照order_id來進行取模分片。這樣不會有數(shù)據(jù)過熱的問題，并且產(chǎn)品表是小表在每個分片上都有，我們能非常方便的使用產(chǎn)品表和訂單表進行關聯(lián)。

說這么多，不如來張圖給大家看一下。

如圖所示，應用直接連接數(shù)據(jù)庫中間件，操作邏輯庫testdb，邏輯表PRODUCTS和ORDERS。而上述邏輯庫和邏輯表對應存放在物理數(shù)據(jù)庫主機A和主機B上。MySQL主機A上有分片dn1，MySQL主機B上有分片dn2。dn1上存儲了全局表PRODUCTS和按order_id取模的ORDERS表1。dn2上存儲了全局表PRODUCTS和按order_id取模的ORDERS表2。

整個脈絡理清了，這是我們的配置環(huán)境。

服務器	IP地址	描述
DBLE服務器	192.168.56.185	DBLE實例，數(shù)據(jù)庫中間件，負責接收SQL進行路由分發(fā)
MySQL A服務器	192.168.56.181	物理實例A，有db_1數(shù)據(jù)庫
MySQL B1服務器主	192.168.56.182	物理實例B，有db_2數(shù)據(jù)庫
MySQL B2服務器從	192.168.56.183	物理實例B的從庫

物理MySQL環(huán)境配置

安裝MySQL服務器A和MySQL服務器B的主從環(huán)境。然后在這兩套物理數(shù)據(jù)庫上都創(chuàng)建Buddy用戶。

create user 'buddy'@'%' identified by '123456';
GRANT ALL PRIVILEGES ON *.* TO 'buddy'@'%' IDENTIFIED BY '123456';

配置schema標簽

進入dble的conf文件夾下配置schema.xml文件。首先咱們配置schema標簽。主要配置內容如下：

 <schema name="testdb">
        <!--er tables-->
        <table name="orders" primaryKey="order_id" dataNode="dn1,dn2" rule="rule_mod"/>
        <!--global  tables-->
        <table name="products" primaryKey="product_id" type="global" dataNode="dn1,dn2"/>
    </schema>

sehama標簽

對邏輯庫的定義，name指定了邏輯庫的名字。

table標簽

對表的定義，name指定了表的名字，dataNode指定這張表涉及的數(shù)據(jù)節(jié)點，這里兩張表都指定的是dn1,dn2。rule指定了分片的規(guī)則，這里是取模算法。如果是全局表需要在type屬性列聲明為global。

配置dataNode標簽

<dataNode name="dn1" dataHost="dataHost1" database="db_1"/>
<dataNode name="dn2" dataHost="dataHost2" database="db_2"/>

dataNode標簽

name指定的是數(shù)據(jù)分片節(jié)點名稱，dataHost指定對應的數(shù)據(jù)庫實例，database對在mysql物理實例中的schema。

配置dataHost標簽

<dataHost name="dataHost1" maxCon="1000" minCon="10" balance="0" switchType="-1" slaveThreshold="100">
    <heartbeat>show slave status</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM1" url="192.168.56.181:3306" user="buddy" password="buddy">
    </writeHost>
</dataHost>
<dataHost name="dataHost2" maxCon="1000" minCon="10" balance="0" switchType="-1" slaveThreshold="100">
    <heartbeat>show slave status</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM2" url="192.168.56.182:3306" user="buddy" password="buddy">
        <readHost host="hostS2" url="192.168.56.183:3306" user="buddy" password="buddy"/>
    </writeHost>
</dataHost>

dataHost標簽

指定了數(shù)據(jù)庫實例，這里name代表數(shù)據(jù)庫實例的名稱。maxCon定于了最大連接數(shù)，minCon定義了空閑時保有的最小連接數(shù)。balance是指讀取操作的負載均衡模式，為0則不做均衡。switchType代表了寫操作的高可用切換類型。等于-1則表示不自動切換。slaveThreshold指定了指定主從延遲的閥值，為100。該配置主要與讀數(shù)據(jù)時的負載均衡有關，它會先取show slave status中的Seconds_Behind_Master值，如果該值大于slaveThreshold，則讀取的時候就會過濾掉這個slave。防止讀到舊的數(shù)據(jù)，影響前臺的業(yè)務。

heartbeat標簽

指定心跳檢測，這里心跳檢測的語句是show slave status

writeHost標簽

指定寫入節(jié)點。host是寫節(jié)點的名稱。url指定寫入節(jié)點的ip和端口號。user指定寫節(jié)點數(shù)據(jù)庫的用戶名，password指定寫節(jié)點數(shù)據(jù)庫的密碼。

readHost標簽

指定讀取節(jié)點。host是讀節(jié)點的名稱。url指定讀取節(jié)點的ip和端口號。user指定讀節(jié)點數(shù)據(jù)庫的用戶名，password指定讀節(jié)點數(shù)據(jù)庫的密碼。

啟動dble

上述配置完成之后，我們就可以啟動dble了。

[root@mycat bin]# ./dble start
Starting dble-server...
Removed stale pid file: /dble/dble.pid

啟動后查看wrapper日志居然報錯了。

INFO   | jvm 1    | 2019/12/27 00:34:15 | com.actiontech.dble.config.util.ConfigException: Illegal table conf : table [ orders ] rule function [ func_mod ] partition size : 4 > table datanode size : 2, please make sure table datanode size = function partition size

這里報錯很明顯，主要是這個取模函數(shù)默認設置對4取模，大于了我們的dataNode。需要我們在rule.xml中把func_mod函數(shù)的partitionCount給改成2.

<function name="func_mod" class="Hash">
    <property name="partitionCount">2</property>
    <property name="partitionLength">1</property>
</function>

重新啟動dble，能夠成功啟動。

創(chuàng)建分片并驗證

使用管理端口登錄，進行創(chuàng)建datanode的操作。

[root@mysql5 ~]# mysql -uman1 -p -P9066 -h192.168.56.185 -p654321
mysql> create database @@dataNode='dn$1-2';
Query OK, 1 row affected (0.03 sec)

分別登錄MySQL服務器A和MySQL服務器B查看創(chuàng)建分片的情況?？梢钥吹?81上創(chuàng)建了db_1，而182上創(chuàng)建了db_2。

[root@mysql5 ~]# mysql -ubuddy -p  -h192.168.56.181 -P3306 -p123456 -e "show databases"
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db_1               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+

[root@mysql5 ~]# mysql -ubuddy -p  -h192.168.56.182 -P3306 -p123456 -e "show databases"
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db_2               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+

創(chuàng)建表并插入數(shù)據(jù)

使用服務端口登錄，進行創(chuàng)建表和插入數(shù)據(jù)的操作。此時我們操作的就是邏輯庫和邏輯表。

[root@mysql5 ~]# mysql -uroot -h192.168.56.185 -P8066 -p123456
mysql> show databases;
+----------+
| DATABASE |
+----------+
| testdb   |
+----------+
1 row in set (0.00 sec)

mysql> use testdb;
Database changed
mysql> show tables;
Empty set (0.00 sec)

mysql> create table if not exists products (
    ->   product_id int not null,
    ->   product_name varchar(250),
    ->   expire_time date,
    ->   primary key(product_id)
    -> )engine=innodb charset=utf8;
Query OK, 0 rows affected, 1 warning (0.08 sec)

mysql> create table if not exists orders (
    ->   order_id int not null,
    ->   product_id int not null,
    ->   effective_time date,
    ->   cust_name varchar(20),
    ->   cust_address varchar(200),
    ->   primary key(order_id)
    -> )engine=innodb charset=utf8;
Query OK, 0 rows affected (0.04 sec)

insert into products values(1,'Package A','2015-12-31')
insert into products values(2,'Package B','2022-07-31');
insert into products values(3,'Package C','2025-12-31');
insert into products values(4,'Package D','2028-05-31');

insert into orders values(1,1,'2019-12-25','caocao','gz');
insert into orders values(1,1,'2019-12-25','caocao','gz');
insert into orders values(2,1,'2019-12-25','liubei','sz');
insert into orders values(3,2,'2019-12-25','sunquan','sh');
insert into orders values(4,2,'2019-12-25','zhugeliang','nj');
insert into orders values(5,3,'2019-12-25','simayi','hz');
insert into orders values(6,4,'2019-12-25','caopi','wh');
insert into orders values(7,1,'2019-12-25','guanyu','cd');
insert into orders values(8,1,'2019-12-25','zhengfei','bj');
insert into orders values(9,3,'2019-12-25','zhaoyun','cd');
insert into orders values(10,1,'2019-12-25','weiyan','cq');
insert into orders values(11,4,'2019-12-25','machao','cs');
insert into orders values(12,1,'2019-12-25','lvbu','cd');
insert into orders values(13,1,'2019-12-25','diaochan','sh');
insert into orders values(14,2,'2019-12-25','huangzhong','hz');

mysql> insert into orders values(1,1,'2019-12-25','caocao','gz');
ERROR 1064 (HY000): bad insert sql, sharding column/joinKey:ID not provided,INSERT INTO orders

在插入orders表的時候再次報錯，報錯很明顯，說分片鍵id沒提供。這是因為我們在rule.xml中columns字段不是指定的分片字段order_id。在rule.xml配置一下columns字段為order_id就可以了。

<tableRule name="rule_mod">
    <rule>
        <columns>order_id</columns>
        <algorithm>func_mod</algorithm>
    </rule>
</tableRule>

驗證分片數(shù)據(jù)否正確

驗證db_1分片上的數(shù)據(jù)。

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.181 -P3306 -p123456 -D db_1 -e "select * from products" 
+------------+--------------+-------------+
| product_id | product_name | expire_time |
+------------+--------------+-------------+
|          1 | Package A    | 2015-12-31  |
|          1 | Package B    | 2022-07-31  |
|          1 | Package C    | 2025-12-31  |
|          1 | Package D    | 2028-05-31  |
+------------+--------------+-------------+

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.181 -P3306 -p123456 -D db_1 -e "select * from orders"  
+----------+------------+----------------+------------+--------------+
| order_id | product_id | effective_time | cust_name  | cust_address |
+----------+------------+----------------+------------+--------------+
|        2 |          1 | 2019-12-25     | liubei     | sz           |
|        4 |          2 | 2019-12-25     | zhugeliang | nj           |
|        6 |          4 | 2019-12-25     | caopi      | wh           |
|        8 |          1 | 2019-12-25     | zhengfei   | bj           |
|       10 |          1 | 2019-12-25     | weiyan     | cq           |
|       12 |          1 | 2019-12-25     | lvbu       | cd           |
|       14 |          2 | 2019-12-25     | huangzhong | hz           |
+----------+------------+----------------+------------+--------------+

驗證db_2分片上的數(shù)據(jù)。

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.182 -P3306 -p123456 -D db_2 -e "select * from products"  
mysql: [Warning] Using a password on the command line interface can be insecure.
+------------+--------------+-------------+
| product_id | product_name | expire_time |
+------------+--------------+-------------+
|          1 | Package A    | 2015-12-31  |
|          1 | Package B    | 2022-07-31  |
|          1 | Package C    | 2025-12-31  |
|          1 | Package D    | 2028-05-31  |
+------------+--------------+-------------+

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.182 -P3306 -p123456 -D db_2 -e "select * from orders" 
+----------+------------+----------------+-----------+--------------+
| order_id | product_id | effective_time | cust_name | cust_address |
+----------+------------+----------------+-----------+--------------+
|        1 |          1 | 2019-12-25     | caocao    | gz           |
|        3 |          2 | 2019-12-25     | sunquan   | sh           |
|        5 |          3 | 2019-12-25     | simayi    | hz           |
|        7 |          1 | 2019-12-25     | guanyu    | cd           |
|        9 |          3 | 2019-12-25     | zhaoyun   | cd           |
|       11 |          4 | 2019-12-25     | machao    | cs           |
|       13 |          1 | 2019-12-25     | diaochan  | sh           |
+----------+------------+----------------+-----------+--------------+