pig分组统计例子
2024-08-29 02:34:03
1.选取数据样本
在pig安装目录下有一个文件tutorial/data/excite-small.log，其中的数据分为3列，中间用制表符分隔，第一列为用户ID，第二列为Unix时间戳，第三列为查询记录。
首先从该文件选取40条记录作为样本，另存为文件pig-testdata.log，上传到目录/zwy/soft中，如下：
2A9EABFB35F5B954 970916105432 +md foods +proteins
BED75271605EBD0C 970916001949 yahoo chat
BED75271605EBD0C 970916001954 yahoo chat
BED75271605EBD0C 970916003523 yahoo chat
BED75271605EBD0C 970916011322 yahoo search
BED75271605EBD0C 970916011404 yahoo chat
BED75271605EBD0C 970916011422 yahoo chat
BED75271605EBD0C 970916012756 yahoo caht
BED75271605EBD0C 970916012816 yahoo chat
BED75271605EBD0C 970916023603 yahoo chat
BED75271605EBD0C 970916025458 yahoo caht
BED75271605EBD0C 970916025516 yahoo chat
BED75271605EBD0C 970916030348 yahoo chat
2.输入下面命令开启grunt shell，进入pig本地模式
pig -x local
3.在Grunt Shell中输入如下命令，将数据装载到一个称为log的别名中。
grunt>log = LOAD '/zwy/soft/pig-testdata.log' AS (user,time,query);
注意：等号左右需要有空格，否则命令不起作用。
4.查看别名log的4个元组
grunt>lmt = LIMIT log 4;
grunt>DUMP lmt;
返回结果如下：
5.对log进行分组，并输出分组后信息
grunt>grpd = GROUP log BY user;
Grunt>cntd = FOREACH grpd GENERATE group,COUNT(log);
Grunt>DUMP cntd;
输出结果如下：
最新文章
- swift 中指针的使用UnsafeMutablePointer
- JS操作页面
- SQL——查询考试
- DEV winform treelist设置背景图像
- 在ASP.NET 5中使用SignalR
- arch linux 新版安装(转)
- vs2010 中检测到有潜在危险的 Request.Form 值
- 复习面向对象的OOA、OOD、OOP
- Ubuntu14.04下搜狗输入法的安装及配置
- shell脚本调用python脚本的路径问题
- mysqli_fetch_array() ,mysqli_fetch_assoc()遇到的问题
- html笔记第一天
- Python——Django-settings.py的内容
- .net core 导出Excel(epplus 创建excel )
- CSS 小技巧
- 移动端开发rem单位
- Java基础92 MySQL插入当前系统时间
- spring boot-mybatis全注解化(3)
- orcal 数据库 maven架构 ssh框架 的全xml环境模版 及常见异常解决
- 分页式存储管理方式AND请求分页式存储管理