参考:http://docs.oracle.com/goldengate/bd1221/gg-bd/GADBD/toc.htm 一.环境介绍 源:centos6.5 oracl e 11.20.4   OGG版本:12.2.0.1.1 目标:OGG 版本Version 12.2.0.1 二.配置源端数据库 1.1 创建OGG用户并授权 create user ggmgr identified by ggmgr defaulttablespace DATA_OL; grant connect,re

一.问题报错 -- :: ERROR OGG- Java or JNI exception: oracle.goldengate.util.GGException: Error detected handling transaction commit event. 问题定位 查看dirrpt下info log   bytes when serialized which is larger than the maximum request size you have configured with

版本信息: Oracle GoldenGate Command Interpreter Version 12.2.0.1.160419 OGGCORE_12.2.0.1.0OGGBP_PLATFORMS_160430.1401 Linux, x64, 64bit (optimized), Generic on Apr 30 2016 16:21:34 Operating system character set identified as UTF-8. hive.props gg.handler

1.安装ogg软件时报错: [INS-75012]Sofware Location specified is already an existing Oracle 2.根据报错,是说我们选择ogg软件的安装目录已经被占用,所以进入我们选择的ogg软件安装目录查看 cd  /u01/app/oracle/ogg 3.发现目录下没有任何其它文件 4.这时经过查阅资料,发现ogg软件,每次安装都会记录一个像注册表的东西,因为我之前在/u01/app/oracle/ogg这个目录安装过,然后进行了删除操

Ogg18.1 remote capture要求mysql为5.7版本,只能从linux远程捕获mysql on windows or linux,且不支持DDL捕获.支持远程mysql为community/commerical版本. 源端数据库配置 OGG登录DB的用户及密码: ogg/Welcome!23 确保源库有打开日志 修改my.cnf,打开日志存放路径,并设置格式 [mysqld] log-bin=/var/log/mysql/mysql-bin.log 确保运行mysql的用户有权

OGG 从Oracle备库同步数据至kafka Table of Contents 1. 目的 2. 环境及规划 3. 安装配置JDK 3.1. 安装jdk 3.2. 配置环境变量 4. 安装Dataguard 4.1. 安装备库软件 4.2. 配置dataguard 4.2.1. 主库 4.2.2. 备库 4.3. 完成操作 4.4. 启动实时复制 5. zookeeper集群 5.1. 上传并解压 5.2. 配置 5.3. 创建myid文件 5.4. 配置环境变量 5.5. 启动和查看服务

目录 简介 环境信息 安装OGG 配置数据库 开启数据库级别日志补充 在dbdc1为OGG单独创建TNS 创建OGG管理用户及其表空间 配置OGG 设置OGG全局参数 Source端,OGG设置, 配置管理进程 创建checkpoint表 添加跟踪对象,pos下所有表 配置extract 配置extract 指定extract的trail位置 配置extract参数 查看 查看trail目录 配置投递进程,设置本地trail 为投递进程DP_pos1 设置远程trail目标 配置DP_pos1参

一. GoldenGate 概述 GoldenGate现在是业内成熟的数据容灾与复制产品:GoldenGate是一种基于日志的结构化数据复制方式,它通过解析源数据库在线日志或归档日志获得数据的增删改变化(数据量只有日志的四分之一左右),再将这些变化应用到目标数据库,实现源数据库与目标数据库同步.双活. 二. GoldenGate 搭建 目标在linux系统下安装Oracle:利用GoldenGate 实现数据同步:可复制DML和DDL操作 环境如下:本环境目标端是源端的克隆:步骤请参考第8篇  

1.ftp工具上传ogg112101_fbo_ggs_Linux_x64_ora11g_64bit.zip分别到source和target服务器 [oracle@localhost mnt]$ ll total 87100 -rw-r--r--. 1 root root 89186858 Nov 24 2015 ogg112101_fbo_ggs_Linux_x64_ora11g_64bit.zip 2.分别root登录source DB服务器和target DB服务器 创建安装目录: [ora

[OGG]RAC环境下配置OGG单向同步 (四) 一.1  BLOG文档结构图 一.2  前言部分 一.2.1  导读 各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的知识,~O(∩_∩)O~: ① RAC环境下配置OGG单向同步 注意:本篇BLOG中代码部分需要特别关注的地方我都用黄色背景和红色字体来表示,比如下边的例子中,thread 1的最大归档日志号为33,thread 2的最大归档日志号为43是需要特别关注的地方. List of Archived Lo

OGG ERRORS 总结 */--> OGG ERRORS 总结 Table of Contents 1. libnnz11.so 2. 00446 2.1. missing filename opening checkpoint file 2.1.1. 错误信息 2.1.2. 分析与解决 2.2. could not find archived log 2.2.1. 错误信息 2.2.2. 分析与解决 3. 00918 4. 01168 5. 01201 5.1. 案例1 5.2. 案例2

前言 Oracle Goldengate在很早前就推出了一个for java的版本,主要目的是方便把关系型数据实时写入到不支持的目标端,如JMS或Redis等key value数据库.在Hadoop刚出来的时候,也可以使用ogg for java adapter将数据实时投递到HDFS等平台,只是后来专门推出了一个ogg for bigdata版本,可以不用二次开发,即可将数据实时投递到hbase ,hive, kafka, mongodb等.所以,针对不支持的目标端,还是需要使用ogg for

Apache Hbase安装及运行 安装hbase1.4,确保在这之前hadoop是正常运行的.设置相应的环境变量, export HADOOP_HOME=/u01/hadoop export HBASE_HOME=/u01/hbase export PATH=$PATH:$HADOOP_HOME/bin:$HBASE_HOME/bin 启动hbase ./start-hbase.sh 确保hadoop, hbase能正常启动,如有问题,可自行搜索文档解决. [oracle@ol66 bin]$

GoldenGate可以实时将RDBMS的数据投递到HDFS中,在前面的文章中,已经配置过投递到kafka, mongodb等数据平台,本文通过OGG for bigdata的介质中自带的示例演示实时将数据写入到HDFS文件系统. 安装hadoop 安装hadoop3.0.0,设置相应的环境变量 export HADOOP_HOME=/u01/hadoop export PATH=$PATH:$HADOOP_HOME/bin 启动hadoop bin/hadoop namenode -forma

简介 GoldenGate是一款可以实时投递数据到大数据平台的软件,针对apache cassandra,经过简单配置,即可实现从关系型数据将增量数据实时投递到Cassandra,以下介绍配置过程. Cassandra安装 解压apache-cassandra-3.11.1-bin.tar.gz到 /opt/cassandra sudo mkdir /var/lib/cassandra sudo mkdir /var/log/cassandra sudo chown hadoop /var/lo

mongodb安装 安装 linux下可使用apt-get install mongodb-server 或 yum install mongodb-server 进行安装. 也可以在windows上安装mongodb,只要网络连通,数据就可以从关系型数据库投递到mongodb.详细安装文档可网络搜索. 启动mongodb 先创建一个数据目录 mkdir /opt/mongodb-data 然后启动DB服务, --rest是启动restful web mongod --dbpath /opt/m

http://docs.oracle.com/goldengate/bd1221/gg-bd/GADBD/GUID-85A82B2E-CD51-463A-8674-3D686C3C0EC0.htm#GADBD-GUID-EE2D45B1-11E6-4B2E-B91F-2FB49F90900A 1.hive support 12.2取消了hive handler,因为hdfs handler已经提供了之前hive handler的功能. 2.指定hdfs文件格式为Sequence File 2.1

本文主要是向读者介绍如何通过 ogg 为 oracle 数据库的变更操作实时同步到大数据产品 kafka 上. 开始介绍前,先为读者介绍一下环境背景 机器ip 和其对应的服务 192.168.88.166[ogg目标端][ogg的mgr(端口1357), rep_test] 192.168.88.128[ogg源端]   [oracle, ogg的mgr(端口9001), ext_test, dpe_test, zookeeper, kafka] 软件版本 oracle 版本,11g relea

概要: Oracle Stream Analytics(OSA)是企业级大数据流实时分析计算平台.它可以通过使用复杂的关联模式,扩充和机器学习算法来自动处理和分析大规模实时信息.流式传输的大数据可以源自IoT传感器,Web管道,日志文件,销售点设备,ATM机,社交媒体,事务数据库,NoSQL数据库或任何其他数据源. OSA为业务用户提供了动态创建和实施即时洞察解决方案.它允许用户通过实时图表,地图,可视化视图来实时浏览实时数据,并以图形方式构建流传输管道,而无需进行任何手工编码. OSA使用与O

主要新增特性:通用JDBC目标端:支持Amazon Redshift & IBM Netezza Oracle GoldenGate for Big Data 12.3现在支持通用的JDBC目标端,即不使用专用的OGG介质,使用JDBC即可投递Oracle, SQLServer, Amazon Redshift, Netezza,其它提供jdbc接口的数据库也是可以的.jdbc投递的特性包括缓存statement语句,reperror和HANDLECOLLISIONS关键字的支持,也支持源和目标