【大数据】Hbase如何批量删除指定数据

一、起因：

　　Hbase是一个列式存储，nosql类型的数据库，类似mongodb。

　　目前似乎没有提供批量删除的方法，只有一个单行删除的命令：deleteall 'tablename', rowkey

二、删除方法：

　　方法一：通过写 shell 脚本，从 hbase shell 查出需要删除的 rowkey ，拼成删除命令（deleteall 'tablename', rowkey），写到文本 del_temp.txt ；然后执行 hbase shell del_temp.txt

　　方法二：通过建映射表，比如在 hive 建一个映射表，然后写 hql 查出需要删除的 rowkey ，拼成删除命令（deleteall 'tablename', rowkey），写到文本 del_temp.txt ；然后执行 hbase shell del_temp.txt

　　方法三：通过python/ java 代码，调用 hbase 的单行删除方法，写个循环删除

　　方法四：通过建映射表，比如在 hive 建一个映射表，将 需要保留的数据 通过 hql 查询出来，备份到 hive 的一张临时表；然后在hbase shell 里面执行 truncate 'tablename' ，清空 hbase 的数据；最后在将数据从 hive 的备份表读出来，插入映射表，写回 hbase；

　　总结：

　　前面3种方法，本质上都是在 hbase 中逐行删除；而第4种方法，是利用hive的map reduce倒数据。对于不熟悉 hbase 和 java 语法的开发人员而言，使用24方法，是灵活性最好的。

三、代码：

　　假设hbase有一张表，表名：test_turboway，列族：cf，以第二种删除方法为例：

　　1、hive 建映射表：

CREATE EXTERNAL TABLE edw.test_turboway_hbase(

  `keyid` string COMMENT 'from deserializer',

  `title` string COMMENT 'from deserializer',

  `bizdate` string COMMENT 'from deserializer',

  `loginid` string COMMENT 'from deserializer')

ROW FORMAT SERDE

  'org.apache.hadoop.hive.hbase.HBaseSerDe'

STORED BY

  'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES (

  'hbase.columns.mapping'=':key,cf:title,cf:bizdate,cf:loginid',

  'serialization.format'='')

TBLPROPERTIES (

  'COLUMN_STATS_ACCURATE'='false',

  'hbase.table.name'='test_turboway',

  'numFiles'='',

  'numRows'='-1',

  'rawDataSize'='-1',

  'totalSize'='',

  'transient_lastDdlTime'='')

　　2、记录hive查询要删除的数据，拼成命令：

hive -e "select concat('deleteall \'test_turboway\',\'',keyid,'\'') from edw.test_turboway_hbase where loginid = '20181122'" > del_temp.txt && echo 'exit' >> del_temp.txt

　　3、hbase shell 执行删除命令

hbase shell del_temp.txt > del.log

巴特西

【大数据】Hbase如何批量删除指定数据

最新文章

热门文章