文档参考地址：http://blog.csdn.net/u010587433/article/details/49305019

需求：

使用Goldengate完成Mysql到Mysql的数据同步，源库的o2m-mc库同步到目标库的gmdc库，表名GMQDSJSP，换句话说，就是不同数据库之间表之间数据的同步

实验准备：

系统: CentOS 7.2

mysql版本 :  5.7-12

mysql-1 ： 192.168.68.13     mysql-2:192.168.68.14

1、初始化

1）目标库创建数据库

mysql> create database gmdc;

2）导入数据

将源库表GMQDSJSP数据导出，然后导入到目标库中

  1. mysqldump -uroot -p123456  --single-transaction --flush-logs --master-data=2 -B o2m-mc --tables GMQDSJSP > /tmp/GMQDSJSP20151021.sql
  2. mysql -uroot -p123456 gmdc <  /tmp/GMQDSJSP20151021.sql

2、源库

1）修改参数

在/etc/my.cnf的[mysqld]下添加如下参数

  1. binlog_format=row
  2. log-bin = mysql-bin          #开启二进制日志

重启

  1. service mysqld restat

2）创建用户并授权

  1. mysql> GRANT ALL PRIVILEGES ON `o2m-mc`.* TO 'ogg'@localhost IDENTIFIED BY 'ogg;
  2. mysql> GRANT ALL PRIVILEGES ON `o2m-mc`.* TO 'ogg'@'%'IDENTIFIED BY 'ogg;


3）解压安装创建相应目录


 




  1. unzip ggs_121210_Linux_x64_MySQL_64bit.zip -d /home/goldengate
    2. 

  2. cd /home/goldengate
    3. 

  3. tar xvf ggs_Linux_x64_MySQL_64bit.tar
    4. 

  4. ./ggsci
    5. 

  5. GGSCI (hadooptest05) 1> create subdirs
    6. 

  6. Creating subdirectories under current directory /home/goldengate
    7. 

  7. Parameter files                /home/goldengate/dirprm: already exists
    8. 

  8. Report files                   /home/goldengate/dirrpt: created
    9. 

  9. Checkpoint files               /home/goldengate/dirchk: created
    10. 

  10. Process status files           /home/goldengate/dirpcs: created
    11. 

  11. SQL script files               /home/goldengate/dirsql: created
    12. 

  12. Database definitions files     /home/goldengate/dirdef: created
    13. 

  13. Extract data files             /home/goldengate/dirdat: created
    14. 

  14. Temporary files                /home/goldengate/dirtmp: created
    15. 

  15. Credential store files         /home/goldengate/dircrd: created
    16. 

  16. Masterkey wallet files         /home/goldengate/dirwlt: created
    17. 

  17. Dump files                     /home/goldengate/dirdmp: created




4）配置管理进程


 




  1. GGSCI (hadooptest05) 2>  edit params mgr
    2. 

  2. port 7809
    3. 

  3. dynamicportlist 7840-7939
    4. 

  4. autorestart er *, retries 5, waitminutes 3
    5. 

  5. purgeoldextracts /home/goldengate/dirdat/*,usecheckpoints, minkeepdays 2
    6. 

  6. GGSCI (hadooptest05) 3> start mgr
    7. 

  7. Manager started.




5）配置抽取进程


 




  1. GGSCI (hadooptest05) 4> edit param mce1
    2. 

  2. extract mce1
    3. 

  3. sourcedb o2m-mc@192.168.7.221:3306 userid ogg password ogg
    4. 

  4. exttrail /home/goldengate/dirdat/me
    5. 

  5. discardfile  /home/goldengate/dirrpt/mce1.dsc,append
    6. 

  6. TranLogOptions AltLogDest /home/mariadb/data/binlogs.index
    7. 

  7. table o2m-mc.GMQDSJSP;
    8. 

  8. GGSCI (hadooptest05) 5> add extract mce1,tranlog,begin now
    9. 

  9. GGSCI (hadooptest05) 6> add exttrail /home/goldengate/dirdat/me,extract mce1
    10. 

  10. GGSCI (hadooptest05) 7> start mce1












6）配置传递进程




  1. GGSCI (hadooptest05) 8> edit param mcp1
    2. 

  2. extract mcp1
    3. 

  3. passthru
    4. 

  4. sourcedb o2m-mc@192.168.68.13:3306 userid ogg password ogg
    5. 

  5. rmthost  192.168.68.14,mgrport 7809,compress
    6. 

  6. rmttrail  /home/goldengate/dirdat/mp
    7. 

  7. dynamicresolution
    8. 

  8. numfiles 3000
    9. 

  9. table o2m-mc.GMQDSJSP;
    10. 

  10. GGSCI (hadooptest05) 9> add extract mcp1,exttrailsource /home/goldengate/dirdat/me
    11. 

  11. GGSCI (hadooptest05) 10> add rmttrail /home/goldengate/dirdat/mp,extract mcp1
    12. 

  12. GGSCI (hadooptest05) 11> start mcp1










7）创建表的定义文件




  1. #创建参数文件
    2. 

  2. GGSCI (hadooptest05) 10>  edit param defgen
    3. 

  3. defsfile ./dirdef/gmqdsjsjp.def
    4. 

  4. sourcedb o2m-mc@192.168.68.14:3306 userid ogg, password ogg
    5. 

  5. table o2m-mc.GMQDSJSP;
    6. 

  6. #生成表定义文件
    7. 

  7. ./defgen paramfile ./dirprm/defgen.prm
    8. 

  8. #传至目标库目录
    9. 

  9. scp /home/mysql/goldengate/dirdef/gmqdsjsjp.def 192.168.68.14:/home/goldengate/dirdef/




3、目标库


1）创建用户




  1. mysql> GRANT ALL PRIVILEGES ON `gmdc`.* TO 'ogg'@localhost  IDENTIFIED BY 'ogg';
    2. 

  2. mysql> GRANT ALL PRIVILEGES ON `gmdc`.* TO 'ogg'@'%'  IDENTIFIED BY 'ogg';




2）同样解压安装并创建目录




  1. unzip ggs_121210_Linux_x64_MySQL_64bit.zip -d /home/goldengate
    2. 

  2. cd /home/goldengate
    3. 

  3. tar xvf ggs_Linux_x64_MySQL_64bit.tar
    4. 

  4. ./ggsci
    5. 

  5. GGSCI (db) 1> create subdirs
    6. 

  6. Creating subdirectories under current directory /home/goldengate
    7. 

  7. Parameter files                /home/goldengate/dirprm: already exists
    8. 

  8. Report files                   /home/goldengate/dirrpt: created
    9. 

  9. Checkpoint files               /home/goldengate/dirchk: created
    10. 

  10. Process status files           /home/goldengate/dirpcs: created
    11. 

  11. SQL script files               /home/goldengate/dirsql: created
    12. 

  12. Database definitions files     /home/goldengate/dirdef: created
    13. 

  13. Extract data files             /home/goldengate/dirdat: created
    14. 

  14. Temporary files                /home/goldengate/dirtmp: created
    15. 

  15. Credential store files         /home/goldengate/dircrd: created
    16. 

  16. Masterkey wallet files         /home/goldengate/dirwlt: created
    17. 

  17. Dump files                     /home/goldengate/dirdmp: created




3）配置管理进程




  1. GGSCI (db) 3>  edit params mgr
    2. 

  2. port 7809
    3. 

  3. dynamicportlist 7840-7939
    4. 

  4. autorestart er *, retries 5, waitminutes 3
    5. 

  5. purgeoldextracts /home/goldengate/dirdat/*,usecheckpoints, minkeepdays 2
    6. 

  6. GGSCI (db) 4> start mgr
    7. 

  7. Manager started.




4）添加检查点表




  1. GGSCI (db) 5>  dblogin sourcedb gmdc@192.168.68.14:3306 userid ogg password ogg
    2. 

  2. GGSCI (db DBLOGIN as ogg) 6>  add checkpointtable gmdc.checkpoint
    3. 

  3. GGSCI (db DBLOGIN as ogg) 7>  edit params ./GLOBALS
    4. 

  4. checkpointtable gmdc.checkpoint




5）配置应用进程




  1. GGSCI (db) 1>  edit params mcr1
    2. 

  2. replicat mcr1
    3. 

  3. targetdb gmdc@192.168.68.14:3306 userid ogg password ogg
    4. 

  4. handlecollisions
    5. 

  5. sourcedefs /home/goldengate/dirdef/gmqdsjsp.def
    6. 

  6. discardfile /home/goldengate/dirrpt/mcr1.dsc,purge
    7. 

  7. map o2m-mc.GMQDSJSP, target gmdc.GMQDSJSP;
    8. 

  8. GGSCI (db) 2> add replicat mcr1,exttrail /home/goldengate/dirdat/mp,checkpointtable gmdc.checkpoint
    9. 

  9. GGSCI (db) 3> start mcr1




4、测试数据同步


注意：mysql中表的大小注意区分


info mgr  //查看启动信息
												


																

最新文章
	

    
						
  1. Angularjs真是个好东西
		
    2. 
						
  2. (六)ICMP、ping
		
    3. 
						
  3. 16SpringMvc_在业务控制方法中写入User，Admin多个模型收集参数——引出问题
		
    4. 
						
  4. 高阶函数复习：利用reduce和map把字符串转为数字
		
    5. 
						
  5. VxWorks 6.9 内核编程指导之读书笔记 -- Singnals
		
    6. 
						
  6. HashMap(JDK1.8)源码剖析
		
    7. 
						
  7. Iptables網路連線限制及攻擊防護和相關設定
		
    8. 
						
  8. codeforces 645C . Enduring Exodus     三分
		
    9. 
						
  9. 走近webpack（4）--css相关拓展
		
    10. 
						
  10. 前端导出excel数据-jsonToExcel
		
    11. 
						
  11. [转载]Meta Learning单排小教学
		
    12. 
						
  12. C++：greater&lt;int&gt;和less&lt;int&gt;
		
    13. 
						
  13. mysql&#39;密码安全
		
    14. 
						
  14. MySql Delete不走索引问题
		
    15. 
						
  15. python 问答
		
    16. 
						
  16. find命令/文件名后缀
		
    17. 
						
  17. jboss5+EJB3+MDB Queue
		
    18. 
						
  18. IE8中伪元素动态作用样式不重绘bug记录
		
    19. 
						
  19. 推荐6款极具个性化的在线生成logo的网站
		
    20. 
						
  20. Chiaki Sequence Revisited HDU - 6304  lowbit找规律法
		
    21. 
		

	


热门文章
	

    
									
  1. Nginx反向代理服务器、负载均衡和正向代理
			
    2. 
						
  2. Properties 文件的简单操作
			
    3. 
						
  3. MYSQL自动备份策略的选择(转载)
			
    4. 
						
  4. Tomcat配置JVM运存
			
    5. 
						
  5. 【WIP】markdown
			
    6. 
						
  6. bzoj 3875: [Ahoi2014&amp;Jsoi2014]骑士游戏【dp+spfa】
			
    7. 
						
  7. poj 3281 Dining【最大流】
			
    8. 
						
  8. （5）css盒子模型（基础上）
			
    9. 
						
  9. 5 分钟掌握 JS 实用窍门技巧，帮你快速撸码--- 删除数组尾部元素、E6对象解构、async/await、 操作平铺嵌套多维数组等
			
    10. 
						
  10. （博弈论 高精度小数）51NOD 1185 威佐夫游戏 V2
			
    11.