【Hadoop/Hive/mapreduce】系列之如何删除HIVE 表格的分区

今天的一个业务场景就是要把三年的数据从第一天不停的融合起来，每一天作为表格一个新的分区。由于空间有限，数据量很大，可能每天数据都是几十个G的大小。所以我需要做的一点就是在融合这一天之后，删除一天的分区数据，为了保险起见，我删除这一天的前三天的数据。

大致代码是这样的

function shan(){

cat <<EOF

ALTER TABLE table_name DROP PARTITION (dt='$san');

EOF

}

first=20160706

second=20190310

while [ "$first" -le "$second" ]

do

    zhong=`date -d "1 days ago ${first}" +%Y%m%d`

    hive -e "`merge`" #这行代码就是在生成当天的数据融合

    san=`date -d "3 days ago ${first}" +%Y%m%d`

    hive -e "`shan`" #删除三天前的数据

    let first=`date -d "-1 days ago ${first}" +%Y%m%d`

done

当然核心代码就是删除分区的那个代码

ALTER TABLE table_name DROP PARTITION (dt='$san');

巴特西

【Hadoop/Hive/mapreduce】系列之如何删除HIVE 表格的分区

最新文章

热门文章