最近看了一些kettle的文章,都是kettle7.0以前的,已经跟不上时代了.截止笔者写这篇文章的时候,github上面的已经是7.1.0.3了,而且是发行版的,最新的快照版本已经是8.0的了.基于此,有必要写一篇关于7.1之后的版本的kettle说明了. 特别说明,我用的项目的构建工具是maven,而不是ant了,如果想用ant的童鞋可以用一下maven的插件maven-antrun-plugins,还是比较好用的. 好了,开始吧! 第一步:下载源码. 源码地址在github上面:https

第一次写博客,心里有点小激动,肯定有很多需要改进的地方,望海涵. kettle算是我相对较为深入研究过的开源软件了,也是我最喜欢的开源软件之一,它可以完成工作中很多体力劳动,在ETL数据抽取方面得到了广泛的使用.我本身对kettle的各个控件使用也不是很熟悉,只会使用最常见的部分控件,就是这样简单的使用也被它的美深深的吸引住了. 好了,进入正题,这里假设你熟悉java开发.git一般使用.kettle一般使用.kettle源码之前托管在kettle官方的svn上,后来迁移到了github上,在g

kettle(pentaho data integration),是一款开源的C/S版的ETL工具,最近打算学习一下kettle源码,并自己写一个mini kettle,并改造成基于事件触发的流处理模型,前端欲支持桌面版和Web版. 首先,首要的工作是将kettle工程构建起来,达到能边跑看调试来观察学习源码.笔者采用的是自己构建一个项目,将kettle的相关模块代码和资源文件导入,并添加依赖库的方式,自认为有些不爽,但由于官网github下下来的工程,采用的是ivy构建工具,笔者没办法把依赖都

上一篇说了请求访问的流程,这一篇说一下请求对应的源码调用 as_view 定义view dispatch dispatch initialize_request get_parsers               (获取解析器) parser_context                (解析上下文) get_authentitors         (获取认证器) get_context_negotiator        (获取上下文内容) default_response_headers

kettle是一个开源产品,产品本身设计是很优秀的,代码应该是很多开源爱好者用业余时间贡献的,代码整体结构还是比较容易理解的,但具体到每一个控件内部就因人而异了,感觉还是挺复杂的,肯定别人考虑得比较全面.但因为是开源产品,不像商业产品那样完善,测试.具体代码规范等就没有商业产品严格了,所以bug相对较多什么的都是可以理解的,后面会将我遇到的部分bug及修复方式分享出来. 上一篇文章我们导入了5个项目,是我认为修改使用过程中遇到的bug时可能需要用到的项目,相信通过上一篇文章的介绍很容易就能添加其

前言:我们使用mybatis时,关于数据源的配置多使用如c3p0,druid等第三方的数据源.其实mybatis内置了数据源的实现,提供了连接数据库,池的功能.在分析了缓存和日志包的源码后,接下来分析mybatis中的数据源实现. 类图:mybatis中关于数据源的源码包路径如下: mybatis中提供了一个DataSourceFactory接口,提供了设置数据源配置信息,获取数据源方法.查看类图可知,有三个实现类分别提供了不同的数据源实现.JndiDataSourceFactory,Poole

在SRS的Ingest功能中,会调用本地FFmpeg进行拉流转码, 调用的核心代码在srs_app_ffmpeg.cpp 的 SrsFFMPEG::start() 中: // memory leak in child process, it's ok. ]; ; i < (int)params.size(); i++) { std::string& p = params[i]; charpv_params[i] = (char*)p.data(); } // EOF: NULL charpv

公司今年开始使用 Spring Boot 开发,当然使用 Spring Boot 也是大势所趋,尤其是现在微服务的趋向,当然是选择基于Spring Boot 的 Spring Cloud.(所谓的 Spring 全家桶,哈哈哈) 一日,闲来无事,都说 Spring Boot 习惯优于配置,但是这习惯它到底在哪里配置实现了. 好奇心的驱使下,我偷偷翻看了 Spring Boot 下 数据源和Mybatis 的配置,我们在用的时候都是在 application.yml 和 application.p

当拿到一含有大量代码的工程怎么看?!这时一个好的代码分析工具非常有用,网上有很多开源工具,但资料都参差不齐,偶然发现doxygen+ graphviz这两工具非常棒,使用工具直接生成函数调用链图,帮助分析整个项目方法的用法以及功能,然后可以方便的分析代码,生成相应的函数调用图 下面是我安装使用过程记录下来了 ps:安装了好几遍后的一个最简洁版的安装过程 一.软件安装.(环境:win10 64bit) 首先,安装doxygen,可以在官网的download页面下载,下载doxygen最新安装包,安

请求流程如图 本次学到的新东西: functools.partial 可以代码重用 用于在哪些通用的方法上加上更多的参数 try: finally可以当go的defer用 即使return后 finally也是会执行的 raise exc from None 这样可以保持原来报错的上下文 asyncio.Queue 可以用来传输消息 类似于go的channel nonlocal 关键字是闭包函数用来修改外层函数变量的 __call__ 方法是当把类对象加()执行的时候调用的

即引用相关头文件时候,要使用extern "C"{}来包含. 关于extern "C"{}的详情,参考:http://www.cnblogs.com/skynet/archive/2010/07/10/1774964.html

public static DefaultHttpClient httpclient; static { httpclient = new DefaultHttpClient(); //httpclient = (DefaultHttpClient) HttpClientConnectionManager.getSSLInstance(httpclient); // 接受任何证书的浏览器客户端 } /** * 生成短连接信息 * * @author: zhaojinhui * @date: 20

1.  Job机制 一个job项代表ETL控制流中的一项逻辑任务.Job项将会顺序执行,每个job项会产生一个结果,能作为别的分支上job项的条件. 图 1 job项示例 1.1. Job类图简介 图 2 Job entry类图结构 1.1.1.    JobEntryInteface接口 JobEntryInterface是Job Entry插件的主要实现接口.主要包含以下功能: 1          保存Job Entry设置 实现类使用私有变量保存设置的参数,通过get.set方法获取和设

一.获取并编译源码 1.1.获取源码 SVN:svn://source.pentaho.org/svnkettleroot/archive/Kettle/branches GitHub:https://github.com/pentaho/pentaho-kettle/releases 1.2.下载源码 把源代码下载到eclipse的workspace工作区 1.3.修改jar包依赖 kettle源码工程依赖的swt.jar包是linux_64的,在编译前修改成本地环境依赖的swt.jar 步骤

一 kettle源码部署概述 1.从git上选择合适的版本,并down下来: 2.创建一个java项目,建立core,dbdialog,engine,ui,plugins文件夹,和一个lib文件夹: 3.将kettle源码中上述五个文件夹中的src下的代码拷贝到我们创建的java项目的五个文件夹下: 4.将发行版kettle工具免安装包的lib,libswt,launcher,simple-jndi 四个文件夹拷贝至java项目根目录,并系统的位数选择libswt.jar  add to bui

生成Timestamp和Watermark 的三个重载方法介绍可参见上一篇博客: Flink assignAscendingTimestamps 生成水印的三个重载方法 之前想研究下Flink是怎么处理乱序的数据,看了相关的源码,加上测试,发现得到了与预期完全不相同的结果. 预期是:乱序到达的数据,flink可以基于数据的事件时间,自动整理数据,依次计算输出 结果是:在assignTimestampsAndWatermarks(assigner: AssignerWithPeriodicWate

Net6 Configuration & Options 源码分析 Part1 在Net6中配置系统一共由两个部分组成Options 模型与配置系统.它们是两个完全独立的系统. 第一部分主要记录配置系统 下面演示的几个实例具有一个共同的特征( 1. 将配置绑定为Options对象),即都采用配置系统来提供绑定Options对象的原始数据,实际上,Options 框架具有一个完全独立的模型,可以称为Options 模型.这个独立的Options 模型本身并不依赖于配置系统,让配置系统来提供配置数据

ajax的介绍就不多说了,点击可看. 既然是ajax框架,那么闲谈一谈jQuery的ajax处理思路. 现在的浏览器都支持ajax,只不过不同的浏览器使用方法可能有不同(IE使用new window.ActiveXObject("Microsoft.XMLHTTP"),标准浏览器使用new window.XMLHttpRequest()).如果按照这种思路,貌似jQajax只需要做好兼容处理就行了? 不是的,原生的ajax有一个说大不大说小不小的缺点——不支持跨域(同源策略由来已久,自

上一篇文章我介绍了在关闭binlog的情况下,事务提交的大概流程.之所以关闭binlog,是因为开启binlog后事务提交流程会变成两阶段提交,这里的两阶段提交并不涉及分布式事务,当然mysql把它称之为内部xa事务(Distributed Transactions),与之对应的还有一个外部xa事务.内部xa事务我理解主要是mysql内部为了保证binlog与redo log之间数据的一致性而存在的,这也是由其架构决定的(binlog在mysql层,而redo log 在存储引擎层):而外部xa

SpillableMemoryChannel是1.5版本新增的一个channel.这个channel优先将evnet放在内存中,一旦内存达到设定的容量就使用file channel写入磁盘.然后读的时候会按照顺序读取:会通过一个DrainOrderQueue来保证不管是内存中的还是溢出(本文的“溢出”指的是内存channel已满,需要使用file channel存储数据)文件中的顺序.这个Channel是memory channel和file channel的一个折中,虽然在内存中的数据仍然可能