0x01 Kettle软件概览 Spoon:集成开发环境 Kitchen:作业的命令行运行程序,可以通过Schell脚本来调用 Pan:转换的命令行程序 Carte:轻量级的HTTP服务,后台运行,监听HTTP请求来运行一个作业 1.1 Spoon 主要用于ETL设计阶段. 1.2 命令行启动:Kitchen和Pan 作业和转换可以在图形界面里执行,但这只是在开发.测试和调试阶段.在开发完成后需要部署到实际运行环境中,在部署阶段Spoon就很少用到了. 在部署阶段,一般需要通过命令行执行,需要把

一.部署准备 1.1 java安装(略) 1.2 JDK配置 1.     命令行键入“cd /etc”进入etc目录 2.     命令行键入“vi profile”打开profile文件 3.     敲击键盘ctrl+F到文件末尾 4.     在末尾处,即第一个~的地方,敲击键盘将以下内容输入到文件 export JAVA_HOME=/usr/java/jre1.6.0_45 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAV

Kettle参数化配置 在做系统化的Kettle实现方案,我们基本要定义一些不变的参数,在整个生命周期中使用,或者设置一些特定的参数,在一些特定的JOB中使用.参数化配置有利用我们Kettle实现规范化和合理化.现整理介绍基本Kettle参数化配置的实现方案:1.整个Kettle级别的参数:         这些参数只要你打开Kettle就可以使用的,默认保存的 KETTLE_HOME中的.kettle文件中的kettle.properties文件中: !如果你没有设置KETTLE_HOME的环

Kettle安装和使用 安装 安装之前需要准备的环境为Java环境,需要提前配置好jdk 下载之后,解压即可使用. 使用 1.因为该工具主要是对数据库进行操作,所以需要提前将mysql的jar包放到lib文件夹下边. 2.使用可视化图形界面,双击运行 初始界面如下: 这两个分别是转换和作业两个类型,下面举例对这两个进行简单的应用. 操作举例 转换操作 目标:将数据表stu1中的数据,转移到数据表2中,如果2中有相同的id则覆盖.如果没有则插入到数据表中. 数据准备: stu1表 stu2表 双击

个人主页: http://www.linbingdong.com 本文介绍Hive安装配置的整个过程,包括MySQL.Hive及Metastore的安装配置,并分析了Metastore三种配置方式的区别.网上有很多介绍Hive Metastore三种配置方式的文章,但是理解都不对,给读者造成了很多误导.本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分,并经过实践,终于填好各种坑,安装配置成功,遂记录下本文,供大家参考. 1. 相关概念 Hive Metastore

个人主页:http://www.linbingdong.com 简书地址:http://www.jianshu.com/p/a7f75b868568 简介 本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具体安装步骤不再赘述. 背景 Hive默认使用MapReduce作为执行引擎,即Hive on mr.实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hi

现在越来越多的企业使用ADFS作为单点登录,我希望今天的内容能帮助大家了解如何配置ADFS和SharePoint 2013.安装配置SharePoint2013这块就不做具体描述了,今天主要讲一下怎么安装配置ADFS3.0. 1.   ADFS安装 在ADFS服务器上,以域管理员Administrator身份登录,以管理员身份启动Powershell,运行命令“Install-WindowsFeature -name ADFS-Federation”安装ADFS Windows角色功能. 启动服

安装配置 系统:Ubuntu14.04 java:1.7.0_75 相关资料 官网 下载地址 官网文档 安装 我们需要关闭掉防火墙,命令如下: sudo ufw disable 下载2.6.5的版本,将下载的Hadooop的压缩包解压到相应的目录,我这里解压到/opt/hadoop-2.6.5文件夹下. 配置 修改/opt/hadoop-2.6.5/etc/hadoop/hadoop-env.sh文件,将JAVA_HOME直接写地址,默认的方式可能取不到 export JAVA_HOME=/us

主要讲下redis的安装配置,以及以服务的方式启动redis 1.下载最新版本的redis-3.0.7  到http://redis.io/download中下载最新版的redis-3.0.7 下载后,将redis-3.0.7.tar.gz复制到虚拟机中目录/home/lewis/dev_soft中 2.安装redis 将redis-3.0.7.tar.gz解压,tar -zxvf redis-3.0.7.tar.gz 上面中redis-3.0.7是redis解压后的目录 进入redis-3.0

npm作为一个NodeJS的模块管理,之前我由于没有系统地看资料所以导致安装配置模块的时候走了一大段弯路,所以现在很有必要列出来记录下.我们要先配置npm的全局模块的存放路径以及cache的路径,例如我希望将以上两个文件夹放在NodeJS的主目录下,便在NodeJs下建立“node_global”及“node_cache”两个文件夹.我们就在cmd中键入两行命令: npm config set prefix "D:\Program Files\nodejs\node_global" 和

1.获取最新版本 https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.6.1.tgz 2.解压并进入bin目录 tar zxvf mongodb-linux-x86_64-2.6.1.tgz cd /opt/database/mongodb-linux-x86_64-2.6.1/bin 3.运行前创建mongodb需要的存放数据和日志的目录: sudo mkdir -p /data/db/ sudo chmod -R 777 /data

安装配置 一 MVC和MTV模式 著名的MVC模式:所谓MVC就是把web应用分为模型(M),控制器(C),视图(V)三层:他们之间以一种插件似的,松耦合的方式连接在一起. 模型负责业务对象与数据库的对象(ORM),视图负责与用户的交互(页面),控制器(C)接受用户的输入调用模型和视图完成用户的请求. Django的MTV模式本质上与MVC模式没有什么差别,也是各组件之间为了保持松耦合关系,只是定义上有些许不同,Django的MTV分别代表: Model(模型):负责业务对象与数据库的对象(OR

原文地址:http://developer.51cto.com/art/201005/199628.htm 本文介绍Subversion安装配置快速指南,首先讲Subversion的安装和配置,Unix/Linux下一般已安装或者使用软件包管理机制安装,非常方便,而配置过程基本是一样的,在这里我 们只讲Windows平台下的安装. 一.首先下载所需的软件: Subversion: http://subversion.tigris.org/Windows下的客户端TortoiseSVN: http

一.配置防火墙,开启FTP服务器需要的端口 CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. 1.关闭firewall: systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 2.安装iptables防火墙 yum install iptables-services #安装 vi /etc/sysconfig/ip

tftp服务器最简单安装配置 1.安装tftp-server sudo apt-get install tftpd-hpa sudo apt-get install tftp-hpa(如果不需要客户端可以不安装) tftp-hpa是客户端 tftpd-hpa是服务器端 2.配置TFTP服务器 sudo vim /etc/default/tftpd-hpa 将原来的内容改为: TFTP_USERNAME=”tftp” TFTP_ADDRESS=”0.0.0.0:69″ TFTP_DIRECTORY

首先先介绍下solr的安装配置 solr下载地址 (我这用的solr-4.5.0) 运行环境 JDK 1.5或更高版本 下载地址(Solr 4以上版本,要求JDK 1.6)  我用的JDK1.6 ) 一个java servlet容器,如Tomcat 下载地址 (我用的Tomcat 6,注:JDK1.7 跟Tomcat 7貌似有兼容性问题,记于 2013.12.12) 分词mmseg4j 下载地址 (我用的1.9) 为防止大家各种目录搞混,安装前先告诉大家我自己所创建使用的目录 整个运行环境我创建

1.安装配置例子 有空再写 2.注意事项 (1)启动mysql 在/etc/mysql 目录下 service mysql start  新版本是(service mysqld start  ) (2)暂停 mysql service mysql stop 新版本是(service mysqld stop ) (3)重启 mysql service mysql restart新版本是(service mysqld restart) (4)客户端连不上linux的mysql数据库 解决:修改一个文

1.Zookeeper简介 Zookeeper 是分布式服务框架,主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等等. 2.zookeeper基本概念 2.1 角色 Zookeeper中的角色主要有以下三类,如下表所示: 系统模型如图所示: 2.2设计目的 1. 最终一致性:client不论连接到哪个Server,展示给它都是同一个视图,这是zookeeper最重要的性能. 2. 可靠性:具有简单.健壮.良好的性能,如果消息

一.环境说明: 操作系统:Ubuntu 12.04.2 LTS Tomcat:apache-tomcat-7.0.52 二.下载 下载地址:http://tomcat.apache.org/ 这里下载的是 apache-tomcat-7.0.52.tar.gz. 三.安装配置 我这下载完成后在当前用户的下载文件夹.进入下载文件夹: ~$ cd ~/下载解压下载的压缩包: ~$ tar -zxvf apache-tomcat-7.0.52.tar.gz重命名解压文件: ~$ mv apache-t

对于一个刚开始学习Spark的人来说,当然首先需要把环境搭建好,再跑几个例子,目前比较流行的部署是Spark On Yarn,作为新手,我觉得有必要走一遍Hadoop的集群安装配置,而不仅仅停留在本地(local)模式下学习,因为集群模式下跨多台机器,环境相对来说更复杂,许多在本地(local)模式下遇不到的问题在集群模式下往往出现,下面将结合实际详细介绍在 CentOS-6.x 系统上 hadoop-2.2.0 的集群安装(其他Linux发行版无太大差别),最后运行WordCount程序以验证

资源库的作用:资源库是用来保存操作步骤和相关的日志,转换,JOB 等信息.用户通过图形界面创建的的转换任务可以保存在资源库中.资源库可以是各种常见的数据库,用户通过用户名/ 密码来访问资源库中的资源,默认的用户名/ 密码是admin/admin. 资源库并不是必须的,如果没有资源库,用户还可以把转换任务保存在 xml 文件中.转换文件以ktr为扩展名,作业文件以kjb为扩展名. kettle的资源库包括数据库资源库和文件资源库,在文件和数据库的基础上的封装,实现org.pentaho.di.re