MyCat基本知识

一.Mycat基本元素

1.逻辑库，mycat中存在，对应用来说相当于mysql数据库，后端可能对应了多个物理数据库，逻辑库中不保存数据
2.逻辑表，逻辑库中的表，对应用来说相当于mysql的数据表，后端可能对应多个物理数据库中的表，也不保存数据

逻辑表分类

1.分片表，进行了水平切分的表，具有相同表结构但存储在不同数据库中的表，所有分片表的集合才是一张完整的表
2.非分片表，垂直切分的表，一个数据库中就保存了一张完整的表
3.全局表，所有分片数据库中都存在的表，如字典表，数量少，由mycat来进行维护更新
4.ER关系表，mycat独有，子表依赖父表，保证在同一个数据库中

二.安装mycat

1.配置环境变量

export JAVA_HOME=/usr/lib/jdk1.8.0_20

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JER_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JER_HOME/bin:$PATH:/usr/local/mycat/bin

export MYCAT_HOME=/usr/local/mycat

export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.12/

export PATH=$PATH:$ZOOKEEPER_HOME/bin

2.mycat内存分配大小

#wrapper.conf

wrapper.java.additional.5=-XX:MaxDirectMemorySize=2G

wrapper.java.additional.6=-Dcom.sun.management.jmxremote

3.启动关闭

[root@mycat01 conf]# mycat --help

Usage: /usr/local/mycat/bin/mycat { console | start | stop | restart | status | dump }

三.mycat配置文件

3.1 server.xml

配置系统相关参数，如连接数
配置用户访问权限
配置逻辑库信息
配置SQL防火墙、SQL拦截功能

1.系统参数标签

<system>

<property name="${key}">${value}</property>

</system>

2.系统常用标签含义

    <property name="serverPort">8066</property>

    <!-- mycat服务端口，转发mysql服务的端口 -->

    <property name="managerPort">9066</property>

    <!-- mycat管理端口，转发mysql服务的端口 -->

    <property name="nonePassWordLogin">0</property>

    <!-- 登录mycat是否需要密码验证，0-需要，1不需要 -->

    <property name="bindIp">0.0.0.0</property>

    <!-- mycat监听地址，默认全部监听，可以指定网卡IP -->

    <property name="frontWriteQueueSize">4096</property>

    <!-- 前端应用写队列大小 -->

    <property name="charset">utf8</property>

    <!-- 前端应用，后端DB需要保持一致避免乱码 -->

	<property name="txlsolation">2</property>

    <!-- 与mysql一致，0-读未提交，1-读已提交，2-可重复读，3-顺序读 -->

    <property name="processors">8</property>

    <!-- mycat线程数=CPU核数 -->

    <property name="idleTimeout">1800000</property>

    <!-- 前端应用不访问的超时断开时间，和mysql的idletime一致，单位毫秒，默认30分钟 -->

    <property name="sqlExecuteTimeout">300</property>

    <!-- SQL执行超时时间，单位秒，默认10分钟 -->

    <property name="defaultMaxLimit">100</property>

    <!-- mycat默认返回数据集大小，默认100行 -->

    <property name="maxPacketSize">10485700</property>

    <!-- mycat默认返回包大小，与mysql保持一致 -->

3. mycat访问用户权限参数标签

	<user name="readonly">

    <!-- 逻辑库用户账号 -->

		<property name="password">readonly1</property>

	    <!-- 逻辑库用户密码 -->

		<property name="schemas">test</property>

	    <!-- 逻辑库用户能访问的逻辑库schema，多个schema用分号隔开

	    <property name="schemas">test,db1,db2</property> -->

		<property name="readOnly">true</property>

	    <!-- 对逻辑库是否只读 -->

	</user>

1.对单个表特殊授权

	<user name="root" defaultAccount="true">

        <property name="password">readonly1</property>

		<property name="schemas">test</property>

    	<privileges check="true">

    	<!-- 对需要控制权限的schema包裹权限privileges标签 -->

        	<schema name="db01" dml="0110">

        	<!-- 指定整个逻辑库schema的权限，权限分别是insert,update,select,delete，1为真，0为假 -->

        	    <table name="table1" dml="0000"></table>

        	    <!-- 指定单个逻辑表的权限，这里的权限会覆盖上面的权限是 -->

        	    <table name="table2" dml="1111"></table>

        	</schema>

    	</privileges>

	</user>

2.密码加密

java -cp /usr/local/mycat/lib/Mycat-server-1.6.5-release.jar io.mycat.util.DecryptUtil 0:root:123456

# 启用并更改密码为密文，0表示前端加密

<property name="usingDecrypt">1</property>

<property name="password">xasdfasdxSFA23</property>

# 1.5.1如下

[root@mycat01 lib]# java -cp /usr/local/mycat/lib/Mycat-server-1.5.1-RELEASE.jar org.opencloudb.util.DecryptUtil 0:root:password

a2SY+TZczkA9Fz9+QA3DoY7W7+Vp62782bp/qR1BNN8XjDXfiImfArARJyWdIcm8RMIU29p5FijneWPoHUyZgw==

# 重启mycat生效

3.2 mycat日志log4j2.xml

1.配置输出日志的格式
2.配置输出日志的级别

<PatternLayout>

    <Pattern>

    %d{yyy-MM-dd HH:mm:ss.SSS} %5p [%t] - %m%n

    </Pattern>

<PatternLayout>

# %d{yyy-MM-dd HH:mm:ss.SSS} 时间格式

# %5p 日志输出级别，5代表具体的5个字符级别

# %t 日志中纪录线程名称

# %m 输出代码中指定的消息

# %n 换行符

07/28 15:27:15.985  DEBUG [Timer1] (SQLJob.java:85) -con query sql:show slave status to con:MySQLConnection [id=25, lastTime=1532762835985, user=root, schema=sqltest, old shema=sqltest, borrowed=true, fromSlaveDB=true, threadId=17, charset=utf8, txIsolation=0, autocommit=true, attachment=null, respHandler=null, host=172.16.10.153, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]

3.级别分类

<level value="debug" />

ALL Trace Debug Info Warn Error Fatal OFF

3.3 rule.xml规则

水平分表的时候才需要配置
指定分片规则和分片规则对应的分片函数

<tableRule name="hash-mod-4_id">

<!-- 分片规则名称，整个配置文件唯一，分片算法-分片节点数_分片列名 -->

	<rule>

		<columns>id</columns>

		<!-- 分片使用的列字段，必须是实际存在的列 -->

		<algorithm>hash-mod-4</algorithm>

		<!-- 分片的算法，取自<function>的name属性 -->

	</rule>

</tableRule>

<function name="hash-mod-4" class="org.opencloudb.route.function.PartitionByHashMod">

<!-- 分片算法，唯一；JAVA类路径，1.6是"io.mycat.route.function.PartitionByHashMod"-->

    	<property name="count">4</property>

    	<!-- 不同分片算法属性不一样，这里是将数据分成4份 -->

</function>

1.常用分片算法

1.简单取模-PartitionByMod，适用于整数类型的列，简单取模存储到后端节点-分片基数，数据分布比较均匀

<tableRule name="customer_login">

	<rule>

		<columns>customer_id</columns>

		<!-- 这个列整形 -->

		<algorithm>mod-long</algorithm>

	</rule>

</tableRule>

<function name="mod-long" class="io.mycat.route.function.PartitionByMod">

    	<property name="count">2</property>

</function>

2.hash取模-PartitionByHashMod，适用非整形类型的列，如字符串、日期，经过hash后再进行取模，数据分布可能不均匀

<tableRule name="customer_login">

	<rule>

		<columns>login_name</columns>

		<!-- 这个列是字符串 -->

		<algorithm>mod-long</algorithm>

	</rule>

</tableRule>

<function name="mod-long" class="io.mycat.route.function.PartitionByHashMod">

<!-- 分片算法不一样 -->

    	<property name="count">2</property>

</function>

前面两个算法是利用mycat本身算法分片，后面两算法可以人为控制

3.枚举分片-PartitionByFileMap，根据可能的枚举值指定数据存储的节点位置，需要额外增加mapfile文件，适用按地区来分片业务场景

mapFile记录可能出现的值，及分片值对应的节点索引

<tableRule name="customer_login">

	<rule>

		<columns>login_name</columns>

		<!-- 这个列是字符串 -->

		<algorithm>filemap-int</algorithm>

	</rule>

</tableRule>

<function name="filemap-int" class="io.mycat.route.function.PartitionByFileMap">

<!-- 分片算法不一样 -->

    	<property name="mapFile">partition-hash-int.txt</property>

    	<!--

    	partition-hash-int.txt，存在conf目录

    	10000=0

    	10001=1

    	DEFAULT_NODE=0

    	-->

    	<property name="type">0</property>

    	<!-- mapfile中枚举key的类型，0代表整形，非0代表string -->

    	<property name="DefaultNode">0</property>

    	<!-- 大于等于0启用默认节点，小于0不启用默认节点 -->

</function>

4.字符串范围取模-PartitionByPrefixPattern，截取固定长度字符串进行ascii码求和，然后除以求模基数（配置文件指定），确定数据存储节点

<tableRule name="customer_login">

	<rule>

		<columns>login_name</columns>

		<!-- 这个列是字符串 -->

		<algorithm>filemap-int</algorithm>

	</rule>

</tableRule>

<function name="filemap-int" class="io.mycat.route.function.PartitionByPrefixPattern">

<!-- 分片算法不一样 -->

    	<property name="patternValue">128/property>

    	<!-- 求模基数 -->

    	<property name="mapFile">prefix-partition-pattern.txt</property>

    	<!--

    	partition-hash-int.txt，存在conf目录

    	0-63=0

    	64-127=1

    	-->

    	<property name="PrefixLength">2</property>

    	<!-- 截取的字符串长度 -->

</function>

3.4 schema.xml逻辑库-物理库信息

配置逻辑库及逻辑表信息
配置逻辑表所存储的数据节点
配置数据节点所对应的物理数据库服务器信息

1.定义逻辑库

<schema name="test" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn_test"> </schema>

<!-- 定义逻辑库的名称，可以和物理库不一样，checkSQLschema-判断是否检查发给mycat的sql是否含有库名，sqlMaxLimit-限制前端应用的默认返回行数，如果这里没有配置，将使用server.xml中的参数值，-1表示不限制返回函数 -->

2.定义逻辑表

<table name="customer_login" primaryKey="customer_id" dataNode="logindb01,logindb02" rule="customer_login"/>

<!-- 定义逻辑表的名称，必须和物理表名一致；定义逻辑表主键，和物理表主键一致，可以缓存主键信息，提高查询性能；指定物理表存储的物理节点；物理节点顺序和rule.xml节点顺序必须一致； 指定分片规则，这里的customer_login分配规则名称对应rule.xml的tableRule名称-->

3.定义物理数据库

<dataNode name="dn_test" dataHost="dh_10.151" database="test" />

<!-- 物理节点名称，唯一；mysql集群的名称；集群中物理数据库名称 -->

4.定义mysql集群信息

<dataHost name="dh_10.151" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

<!-- mysql集群的名称，唯一；mycat与后端数据库的最大、初始化连接数； -->

        <heartbeat>show slave status</heartbeat>

        <!-- <heartbeat>select user()</heartbeat> -->

        <!-- can have multi write hosts -->

        <writeHost host="Master_vip" url="172.16.10.151:3306" user="root" password="123456">

                <!-- can have multi read hosts -->

                <readHost host="S1_10.153" url="172.16.10.153:3306" user="root" password="123456" />

                <readHost host="S2_10.154" url="172.16.10.154:3306" user="root" password="123456" />

        </writeHost>

        <!-- <writeHost host="hostM2" url="localhost:3306" user="root" password="123456"/> -->

</dataHost>

# balance

# "0" 不开启读写分离机制，适用只有一个mysql数据库实例，或者读写敏刚应用

# "1" 全部的readhost和stand by writehost参与select语句负载均衡，适用双主双从实例

# "2" 所有的readhost和writehost都参与select语句负载均衡，适用写压力不大的应用场景

# "3" 所有readhost参与select语句的负载均衡，适用一主多从实例架构

# writeType

# "0" 默认值，所有的写请求落在第一个writehost上，当第一个writehost宕机后，才会选择第二个writehost主机

# "1" 随机将write请求分发到writehost主机上，有风险，适用PXC多写集群

# dbType

# 可以用于mongodb，用jdbc驱动

# switchType 写数据库如何进行切换

# "1" 当写主机不可用，自动切换到下一个可用写节点

# "-1" 关闭自动切换写主机功能，适用MHA管理的集群

switchType="-1,1,2,3"

--是否启用主从切换

-1：表示不启用主从切换；

1：为默认值，自动切换；

2：基于主从同步的状态，决定是否切换，与show slave status心跳对应；

3：基于多住galary集群切换，与show status like 'wsrep%'对应；

<heartbeat>show slave status</heartbeat>

--心跳检测语句，一般为select user();

如果是switchType=2，基于主从同步状态决定是否切换，则心跳设为show slave status;

如果是switchType=3，则心跳设为show status like 'wsrep%'；

5.关于balance补充

1.一主一从情况下，为1有可能无法select 从库，读写均落在主库
2.一主情况下，主库宕机，所有从库无法通过mycat连接
3.一主多从，balance设为1，select均在从库
4.一主一从，balance设为3，select在从库通常使用该项
5.一主一从，balance设为2，select会落在从库

巴特西

MyCat基本知识

一.Mycat基本元素

逻辑表分类

二.安装mycat

三.mycat配置文件

3.1 server.xml

1.系统参数标签

2.系统常用标签含义

3. mycat访问用户权限参数标签

3.2 mycat日志log4j2.xml

3.3 rule.xml规则

1.常用分片算法

3.4 schema.xml逻辑库-物理库信息

1.定义逻辑库

2.定义逻辑表

3.定义物理数据库

4.定义mysql集群信息

5.关于balance补充

最新文章

热门文章