Hive如何根据表中某个字段动态分区
2024-08-23 05:21:43
使用hive储存数据时,需要对做分区,如果从kafka接收数据,将每天的数据保存一个分区(按天分区),保存分区时需要根据某个字段做动态分区,而不是傻傻的将数据写到某一个临时目录最后倒入到某一个分区,这是静态分区。
Hive动态分区步骤如下:
1、建立某一个源表模拟数据源并插入一些数据
create table t_test_p_source (
id string,
name string,
birthday string
)
row format delimited fields terminated by '\t'
stored as textfile; insert into t_test_p_source values ('a1', 'zhangsan', '2018-01-01');
insert into t_test_p_source values ('a2', 'lisi', '2018-01-02');
insert into t_test_p_source values ('a3', 'zhangsan', '2018-01-03');
insert into t_test_p_source values ('a4', 'wangwu', '2018-01-04');
insert into t_test_p_source values ('a5', 'sanzang', '2018-01-05');
insert into t_test_p_source values ('a6', 'zhangsan2', '2018-01-01');
2、建立一张分区表 (按ds字段分区)
create table t_test_p_target (
id string,
name string
)
partitioned by (ds string)
row format delimited fields terminated by '\t'
stored as textfile;
3、向分区表中插入数据
SET hive.exec.dynamic.partition=true; #是否开启动态分区,默认是false,所以必须要设置成true
SET hive.exec.dynamic.partition.mode=nonstrict; # 动态分区模式,默认为strict, 表示表中必须一个分区为静态分区,nostrict表示允许所有字段都可以作为动态分区 insert into table t_test_p_target partition (ds) select id, name, birthday as ds from t_test_p_source;
4、测试是否动态分区了
2018-01-01这个分区只有2条数据,再来看下HDFS上的分区目录
至此,hive动态分区已经完成了。
最新文章
- WordPress建站 新手入门
- 用excel绘制基因芯片热力图
- SNM2无法编辑HostGroup项
- Android launcher3 开发初始篇
- 【C++学习笔记】继承与派生基础概念
- groovy regex groups(groovy正则表达式组)
- css grid学习材料整理
- 日志管理之 Docker logs - 每天5分钟玩转 Docker 容器技术(87)
- 用post请求方式实现对地图服务的基本操作
- mybatis中<;foreach>;标签的使用
- C# DES加密类,16位的加密。
- MyBatis从入门到放弃三:一对一关联查询
- 完完全全彻底删除VMware_Workstation
- Spark2 Dataset行列操作和执行计划
- Android 计算器
- MUI事件管理
- postman:模拟发送一个需要cookie认证的请求
- 协议类接口 - NAND
- 虚拟立方体调用非共享维度的时候需要指定cubeName,否则Schema无效
- iostat -x命令诊断
热门文章
- Have启动报错:java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
- serv-U 7以上版本pasv端口的设置及中文乱码问题
- Webpack webpack+gulp实现自动构建部署
- Java 编码规范有感
- MySQL计算日期的函数DATE_SUB(d,INTERVAL expr type)
- java中的递归思想及应用
- 实现一个Promise.all
- es6-Iterator与for...of
- SQL Server DBA SQL
- python_27_多级字典嵌套及操作