kettle数据同步方法
2024-08-30 00:56:19
1、实时性要求不高,采用全删全插的方式(适合于维度表、大数据量表)
2、有时间维度,直接从事实表同步的数据,可以采用根据时间字段进行筛选,增量同步。这个网上有很多例子,就不重复写了。
3、没有时间维度,同时表数据量比较大,且不能采用全删全插方式的,可以采用增量更新的方法。
在第三种方法中,尤其需要注意3点。
1、新旧数据源的结构和字段名需要保持一致。在sql中,可以给字段取别名,字段的顺序要保持一致。
2、若从不同数据库中进行比较,如sqlserver和MySQL,则需要对数据的类型进行转换,确保数据类型一致。可以在上图中新旧数据源与合并记录的连线处增加,字段选择控件,对字段的类型进行限定。
3、新旧数据源输入时,需要将数据源按照同样的规则进行排序。这一点在大表同步时非常重要,可能在同步小数据量的表时,没有影响,在大表同步时,若没有加上排序,会导致同步的结果异常。
最新文章
- JavaOO面向对象中的注意点(三)
- PHP浅复制与深复制
- 005_重写 Standard Delete Button
- Spring以及SPringmvc相关问题: ServletContext -父子容器
- iOS开发--利用MPMoviePlayerController播放视频简单实现
- ffmpeg-20160728-bin.7z
- ASP.NET Core 1:UrlRouting 设置(不包含MVC6的UrlRouting设置)
- leetcode 83
- POJ1062昂贵的聘礼(dijkstra)
- 2011年-CUshell编程大赛
- (转)PHP数组的总结(很全面啊)
- php-fpm:fastcgi_finish_request()
- linq中的cast<;T>;()及OfType<;T>;()
- 个人自建网店(WordPress WooCommerce on SAE)集成支付宝支付
- jsp+servlet登录框架模板
- J2EE学习从菜鸟变大鸟之五 JDBC(Java Data Base Connectivity)
- centos7 源码安装php7
- 测试思想-集成测试&#160;关于接口测试&#160;Part&#160;2
- 【HDU4507】恨7不成妻
- java通过反射拷贝两个对象的同名同类型变量
热门文章
- VS2008编了个MFC对话框,编译链接都没有问题,但是运行出来的对话框完全不能点击
- 【转】C/C++使用心得:enum与int的相互转换
- CodeForces 1091G. New Year and the Factorisation Collaboration
- matlab白底换红底
- PLSQL导入导出oracle表 表空间
- sqlserver——视图
- LeetCode: 448 Find All Numbers Disappeared in an Array(easy)
- 割点(Tarjan算法)
- Mecanim动画系统 - 在角色上使用Mask 叠加动画层
- uoj#283. 直径拆除鸡(构造)