大数据之pig安装
大数据之pig安装
1.下载
2. 解压安装
mapreduce模式安装:
1:设置HADOOP_HOME,如果pig所在节点不是集群中的节点,那就需要把集群中使用的hadoop的安装包拷贝过来一份。
export HADOOP_HOME=/usr/local/hadoop-2.6.0
2:创建一个文件夹,cluster-conf,里面保存的是hadoop的配置文件,core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml,具体配置属性参考提供的配置文件
export PIG_CLASSPATH=../cluster-conf
export HADOOP_CONF_DIR=../cluster-conf
download 4 files about hadoop for pig
注意:如果在执行的过程中报错(右图),则需要在主节点启动job history server(因为pig在hadoop集群上执行任务之后需要解析执行日志才能知道任务是否执行成功。)
sbin/mr-jobhistory-daemon.sh start historyserver
(一定要在resourceManager主节点上运行)
3.检测:
pig
进入:
然后在指定hadoop 上的文件
hello.text
hello you
hello me.csharpcode, .csharpcode pre
{
font-size: small;
color: black;
font-family: consolas, "Courier New", courier, monospace;
background-color: #ffffff;
/*white-space: pre;*/
}
.csharpcode pre { margin: 0em; }
.csharpcode .rem { color: #008000; }
.csharpcode .kwrd { color: #0000ff; }
.csharpcode .str { color: #006080; }
.csharpcode .op { color: #0000c0; }
.csharpcode .preproc { color: #cc6633; }
.csharpcode .asp { background-color: #ffff00; }
.csharpcode .html { color: #800000; }
.csharpcode .attr { color: #ff0000; }
.csharpcode .alt
{
background-color: #f4f4f4;
width: 100%;
margin: 0em;
}
.csharpcode .lnum { color: #606060; }运行:
A= load ‘hdfs://hadoop11:9000/hello.txt’as (name:chararray,myname:chararray);
dump A;
最后显示统计结果。success
最新文章
- [转]mysql 视图
- vim 标签页 tabnew 等的操作命令
- Apple Watch的课表应用iOS源码项目
- java常用基础知识点 (持续追加)
- Vim快速移动光标至行首和行尾
- 重新想象 Windows 8 Store Apps (36) - 通知: Tile 详解
- unity缓存和浏览器缓存
- H - Solve this interesting problem 分类: 比赛 2015-07-29 21:06 15人阅读 评论(0) 收藏
- WebService 的创建,部署和使用
- page-object使用(3)---元素嵌套
- c读写文件相关
- javascript判断浏览器
- rsync同步目录及同步文件
- 微软C#版SQLHelper.cs类
- 用SPSS 画 人口金字塔(限SPSS 13.0以上)
- python开发:python基本数据类型
- Andriod App类型简介
- 时间轴QTimeLine
- h5py
- 3.Ehcache中储存缓存的方式
热门文章
- GridView控件RowDataBound事件中获取列字段值的几种途径 !!!
- 数据结构作业——sights(最短路/最近公共祖先)
- Django admin coercing to Unicode: need string or buffer, tuple found
- OpenGLES入门笔记二
- UVA1210Sum of Consecutive Prime Numbers(素数打表 + 连续和)
- CentOS7安装hive-2.1.0
- C#------各种常见错误解决方法
- jpa delete related
- 运用java集合Collections对List进行max和min操作
- DllImport dll中有些啥函数 及 dll中是否用到了别的dll