《OD学oozie》20160813
一、日志收集项目案例
1.
oozie中依赖jar包
在工作目录下创建lib目录，上传依赖包的lib目录下
2. 作业
将日志收集与处理项目案例使用oozie的workflow执行
3. coordinator
在workflow基础上添加了一个coordinator.xml
coordinator时区
UTC
GMT
CST ==> GMT+0800 东八区时间
1）将本地服务器的时间设置为GMT+0800
date -R
date
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
2）
vi /opt/modules/cdh/oozie-4.0.0-cdh5.3.6/conf.oozie.default
<name>oozie.processing.timezone</name>
<value>GMT+0800</value>
3）
oozie-server
oozie-console.jps
177行
改为GMT+0800
coordinator基于数据集的调度
4. oozie bundle
将一些corodinator集中起来
bundle
coordinator
workflow
二、Hue
http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html
hdfs 50070
mapreduce job 8088
oozie 11000/oozie
将上面的页面整合到一个web项目中
hive: hql，在页面上编写hql，同时可以通过点击按钮来执行，并且执行完结果直接展示到页面。
1. 下载
2. 解压
3. 安装依赖包
sudo yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel openldap-devel python-devel sqlite-devel openssl-devel mysql-devel gmp-devel
1）依赖包冲突问题
卸载掉冲突的客户端 rpm -e --nodeps mysql-community-client-5.6.31-2.el6.x86_64
2）
4. 编译安装
在$HUE_HOME下执行
make apps
5. 启动
build/env/bin/supervisor
6. 修改配置文件
1）集成hdfs
webhdfs_url如果是非HA的HDFS：
webhdfs_url=http://beifeng-hadoop-02:50070/webhdfs/v1
webhdfs_url如果是HA的HDFS：
webhdfs_url=http://beifeng-hadoop-02:14000/webhdfs/v1
2）集成yarn
3）集成hive
hue无法连接HiveServer2问题，
4）继承oozie
<property>
<name>oozie.service.WorkflowAppService.system.libpath</name>
<value>/user/oozie/share/lib</value>
<description>
System library path to use for workflow applications.
This path is added to workflow application if their job properties sets
the property 'oozie.use.system.libpath' to true.
</description>
</property>
作业2：
将课上讲过的action
MapReduce aciton: fof
shell action： 日志分割，执行本地shell脚本
hive action： 日志记录数据的清洗和分析
sqooop action：将hive分析结果导出到mysql中
以上所有的workflow通过HUE页面来进行配置，要求有截图。
最新文章
- $.data(data , "")
- ssh secure shell
- hdu1421 搬寝室（dp）
- htm Dom对象与 Xml Dom对象的理解
- C++学习5
- spring_150805_datasource
- Visual Studio Team Services使用教程--添加团队成员
- maven构建maven-project和maven-module
- eclipse构建maven+scala+spark工程
- /opt/apache-tomcat-7.0.57/conf/catalina.policy(权限不够)
- python不能调试的原因
- 关于java职业路径
- Spring整体了解
- 【读书笔记】iOS-优化iOS Web应用
- PHP ~与各加速工具的性能对比~
- 【Jmeter基础知识】Jmeter的三种参数化方式
- centos6.5下oracle自动备份删除指定天数的文件
- 解决jenkins运行selenium测试出错的问题
- secureCRT的文件上传技巧
- P1783 二分并查集写法