Kettle通用数据贴源作业设计
2024-08-25 00:01:49
本设计基于以下需求提出
1. 快速接入数据源表(贴源/落地)
2. 无须给单独表开发转换/作业
3. 动态生成数据源连接, 表字段等信息(预先保存在数据仓库中)
本设计所需条件
1. 数据源为关系型数据库
2. 不同数据源需要写一小段Java Scripts以保证数据源连接可用
总体作业结构
jb_STG_SetVariable: 设置及生成后续转换所需信息
tf_STG_LoadData : 实际贴源转换
jb_Update_Flag : 更新运行后状态
jb_STG_SetVariable:
tf_STG_Inc_SetVariable : 获取数据表运行增量时间
tf_STG_selectSource_SetVariable: 获取并设置数据表名,字段名,数据源连接,用户,密码
数据表的运行增量时间在数据仓库中进行管理, 每次运行该作业前将每天更新对应表的增量日期/时间.
数据表名,字段名,数据源连接,用户,密码 也是通过数据仓库中一系列的参数表设置完成, 此过程当需要接入一整个数据库(20张表以上)时可通过脚本自动完成, 不在本次Kettle作业设计讨论范围.
下面再来看看 tf_STG_Inc_SetVariable 和 tf_STG_selectSource_SetVariable 的内容:
tf_STG_Inc_SetVariable:
tf_STG_selectSource_SetVariable:
最后jb_Update_Flag作业所做动作为更新日志表记录, 此处与仓库设计关系较大, 不同仓库有各自具体情况, 故不作详细说明.
需要本设计的范例xml供学习, 可联系邮箱sinwingyeah@163.com
最新文章
- 针对github权限导致hexo部署失败的解决方案
- [css3]跑马灯
- Win8下安装.Net3.5的完美策略
- WPF 定时写入文本
- mmap直接控制底层【转】
- winform 承载 WCF 注意,可能不是工作在多线程模式下
- hello,boke
- Core Data入门-备用
- Sort Colors 解答
- Android中的一些基础知识(二)
- UIButton的属性设置
- Linux 笔记 #02# Installing MySQL &; Installing the Default JRE/JDK
- Git基础命令使用(个人总结)
- Mac查看和杀死后台进程
- GIL 全局解释器
- 204. jetcache:在Spring Boot中怎么玩?
- pyenv+virtual 笔记
- 利用fstream进行文件拷贝测试
- Docker 核心技术与实现原理
- (转)Integrating Intel® Media SDK with FFmpeg for mux/demuxing and audio encode/decode usages 1
热门文章
- javaee Properties键值对写入和读取方法
- SQL语句注意得问题
- 【maven】成功生成jar包,提示找不到主类?
- 关于如何利用js判断IE浏览器各种版本问题
- 类型信息、异常、I/O流(day11)
- 10.shard、replica机制及单node下创建index
- Django-Python3-Celery 异步任务/定时任务
- LightOJ - 1189 - Sum of Factorials
- Method and apparatus for an atomic operation in a parallel computing environment
- 0809MySQL实战系列:大字段如何优化|数据存储结构