此篇说明对应的kettle版本是6.1,实际使用时7.x应该也是一样的. 一.    kettle开发流程(规范步骤,防止出错) (一)       Kettle设置检查 资源库连接 如果不加一下配置项,数据转换后中文会出现乱码,很难处理. 本地连接资源库:配置项 defaultFetchSize 500 useCursorFetch true characterEncoding UTF-8 useUnicode true (二)       Kettle注意事项 1.每个trans.jobs的

关于Jenkins的介绍我就不说了,自己百度,因为这个工具调用脚本只是他的功能的冰山一角,其他功能我也不能理解,因为不是那个领域.        下面我就介绍一下为什么我们需要一个调度平台,以及学习完jenkins后,能解决什么问题.然后在开始讲解安装部署,然后再讲一下怎么调用kettle作业(和处理作业依赖) 1.为什么我们需要调度平台?  2.答:可能大部分人对于kettle的调度还是停留在win的计划任务,linux的cron, 但是作业越来越多,作业之间相互依赖,(例如:A作业,b作业,

最近在做基于jenkins ant  junit 的测试持续集成,单独ant junit生成的junitreport报告打开正常,使用Jenkins的HTML Publisher Plugin 插件无法正常展示报告内容,仅有三个frame占位框,如下图所示 这是由于jenkins一些安全设置导致的展示不全问题,点击F12,可以看到如下报错 解决办法 方法一:登陆jenkins系统,点击"系统管理"----"脚本命令行",执行如下命令,重新刷新JunitReport日

最近在工作中需要用到在后台代码中触发Jenkins任务的构建,于是想到Jenkins是否有一些已经封装好的API类库提供,用于处理跟Jenkins相关的操作.下面就简单介绍下我的发现. Linux Curl 首先找到的是Jenkins官网的wiki:https://wiki.jenkins-ci.org/display/JENKINS/Remote+access+API 在官网首页就有关于触发job的方法: 个人尝试了下,该方式是通过命令行直接调curl去发POST请求的方式来触发job的构建.

在centos7上安装Jenkins 安装 添加yum repos,然后安装 sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jenkins.repo sudo rpm --import https://jenkins-ci.org/redhat/jenkins-ci.org.key sudo yum install jenkins 如果没有java的话要安装java sudo yum ins

整体流程 每次SVN上代码有变动,触发自动构建动作,并部署到服务器的tomcat上,具体流程: 1.SVN上提交代码修改 2.maven执行Goals 3.将web工程打成war包 4.关闭服务器的tomcat,拷贝war包到服务器tomcat的webapps目录,启动tomcat 项目相关配置 因为我们使用的是maven工程,所以配置下pom.xml就可以啦,重点关注build的配置,如下: <build> <finalName>dss</finalName> <

我们有一个job A, A只是配置了一些参数,它会去触发模板job B. 我一开始点击构建A, 马上发现参数配置不对,于是撤消了构建,但是我没有发现B已经被触发,我重新配置参数,然后再次构建A,这个时候就有两个B在同时构建一个项目,时间差了几十秒. 两个B在不同的机器上进行,第一个B,我们暂且叫B1(构建号644), 第二次的叫B2(构建号#645), B1构建的机器最后硬盘空间不足失败了,B2成功了.但是奇怪的是B2#645在19:30构建完成后居然去检查B1#644的状态,此是B1还没有构建

Jenkins是一个开源的持续集成工具,应用Jenkins搭建持续集成环境,可以进行自动构建.自动编译和部署,非常方便. 在服务器比较少的情况下,Jenkins的优势并不明显,但是随着项目发展,服务器数量的增加,Jenkins的优势就会凸显出来,可以很好的提高效率,减少很多人工操作. 现在很多公司的Java项目开发都是使用Git或者SVN管理代码,Maven管理多模块和项目依赖,所以今天尝试学习如何使用Jenkins搭建Github与Maven下的自动构建和部署. 1.部署Jenkins 官网下

所要用到的主要插件: [MSBuild Plugin] 具体操作: 1.配置MSBuild的版本 [系统管理]->[Global Tool Configuration]->[MSBuild],点击[新增MSBuild]进行版本的添加,如下: 注意:其中Path to MSBuild为文件夹路径,代码要编译的那台机器的文件夹,如果绑定的是slave时,这个路径就代表这slave的路径 最后,点击[Save]完成保存. 2.新建项目进行测试 这里假设在要进行构建的机器上已经新建好项目,并放在“D:

在Redhat enterprise 6.5 的服务器上,为在gutub 上的 .net 项目构建一个持续集成环境,用到了Jenkins和mono.因公司的服务器在内网,访问外网时要通过代理,所以在很多步骤都加上了代理,如果你的服务器可以直接访问外网,则可以去掉代理. 1 安装 首先要在Redhat服务器上安装必要的工具. 1.1 安装Java 先检查版本,要求1.7及以上 java –version java version "1.5.0" gij (GNU libgcj) vers

前言     上一篇随笔Maven+Nexus+Jenkins+Svn+Tomcat+Sonar搭建持续集成环境(一)介绍maven和nexus的环境搭建,以及如何使用maven和nexus统一管理库文件和版本,以及怎么将自己的模块上传至nexus私服,供其他模块引用.下面将主要介绍如何利用Jenkins.SVN.Tomcat以及Sonar来完成项目的自动化编译.测试和发布,以及检查项目的代码质量. 利器Jenkins     Jenkins源于另外一个持续集成工具Hudson,Hudson在o

前言     但凡一个略有规模的项目都需要一个持续集成环境的支撑,为什么需要持续集成环境,我们来看一个例子.假如一个项目,由A.B两位程序员来协作开发,A负责前端模块,B负责后端模块,前端依赖后端.A和B都习惯使用SVN作为代码管理工具,他们分别开始工作,一个功能完成后会提交到SVN,以便对方能够使用.一天B告诉A,我的某个功能完成了,提交到SVN,你更新下来试一下.A便从SVN更新下来代码,结果一试,我檫报错,于是告诉B你的代码有问题,B检查了一下确实有问题,然后B经过1个小时修改后,重新上传

CentOS7 Jenkins安装 CentOS7 Jenkins安装 Download 从Jenkins下载apache-tomcat-8.0.18.tar.gz Install 安装 上传RPM文件到/tmp目录下 cd /tmprpm -ivh jenkins-1.599-1.1.noarch.rpm 设定 /etc/sysconfig/jenkins JENKINS_PORT="9081"JENKINS_AJP_PORT="9082" 设定开机启动 chkc

1.开发背景 在web项目中,经常会需要查询数据导出excel,以前比较常见的就是用poi.使用poi的时候也有两种方式,一种就是直接将集合一次性导出为excel,还有一种是分批次追加的方式适合数据量较大的情况.poi支持xls和xlsx,使用2003版本的只支持6万多行以下的数据量,使用2007版本的支持百万行.但是呢,当数据量大了之后这种方式却非常耗内存和时间. 接触了etl之后就想着用kettle来做导数据,经过测试是完全可行的.几十万行,一百万行都能快速导出来,代码也非常简单.   2.

Kettle是一个开园ETL工具,做数据仓库用Spoon. 工具:下载Spoon,解压即可用   1.认识常用组件:     表输入     插入\更新     数据同步     文本文件输出     更新     自动文档输出     表输出       列转行     增加常量     增加序列     排序记录     行转列     过滤记录     数据库连接       合并记录     排序合并     记录关联(笛卡尔输出)     记录集连接       分组     在内存中

CentOS安装gitlab,gerrit,jenkins并配置ci流程 By Wenbin juandx@163.com 2016/4/9 这是我参考了网上很多的文档,配置了这三个软件在一个机器上,web分别访问8081,8082,8083端口,成功构建了一个ci流程. 版本都是目前最新的版本. 用户 Gitlab:  root/wenbindevops , wenbin/12345678 Gerrit:  gerrit/gerrit, wenbin/wenbin, jenkins/jenki

  准备 Jekins   安装插件 MsBuild Plugin Team Foundation Server Plug-in 配置环境变量 我的电脑中设置环境变量,Path中添加msbuild的路径,eg. C:\Windows\Microsoft.NET\Framework\v4.0.30319   配置Jekins Job MSBuild 配置   问题 很多时候在使用jenkins的时候忘记密码了,遇到这种情况,可以看看下面的讲解. Jenkins专有用户的数据存放在JENKINS_H

前两篇讲解了Jenkins的配置和VS远程发布,现在还有一个问题,VS项目远程发布的时候,配置的是覆盖所有文件重生成的,而通常类似于配置文件这种东西,在本地开发环境和测试环境是不一样的.所以我们通常需要先把测试服务器上面的配置文件单独存放一个地方,VS远程发布完成之后,再把这些配置文件copy过来进行覆盖就可以了. 之前我考虑到使用CMD命令,但是发现使用CMD命令非常繁琐,还有共享文件夹,然后设置操作权限等等.后面索性使用Ftp了. 在Jenkins的安装目录下D:\Program Files

1. 将 jmeter 脚本放在/var/lib/jenkins/workspace/Jmeter_auto/jmxpath路径下 2. 点击http://jk.facebank.net.cn/job/Jmeter_auto/立即构建即可 最终生成的报告会在 /var/lib/jenkins/workspace/Jmeter_auto/jmxpath/时间目录/html/文件夹中,里面包含整个脚本运行的结果 jmeter 安装目录: /var/lib/apache-jmeter-3.0, ant

(1)新建一个作业(新建->作业),并在控制面板右键: (2)设置一个命令参数: (3)把作业的参数传递给转换: (4)在转换中右键设置转换属性: (5)接收作业中设置的传递参数: (6)参数的获取: (7)用命令行执行此.kjb文件: 进入到kitchen目录下 执行的命令: 数据库设计: 一: 二: 附加( 附加部分转发自:http://www.cnblogs.com/loren-love-xixi/articles/5716774.html): 1.ktr的运行:运行transformat