hadoop之hive&hbase互操作
2024-09-01 00:46:24
大家都知道，hive的SQL操作非常方便，但是查询过程中需要启动MapReduce,无法做到实时响应。
hbase是hadoop家族中的分布式数据库，与传统关系数据库不同，它底层采用列存储格式，扩展性极高，响应时间也很快，当业务变化大时，可以作为mysql的补充。
幸运的是作为hadoop家族中比较成熟的两个组件，hive和hbase可以进行互操作，在hive可以创建基于hbase的外部表，这样既可以用到hbase的高效响应，也可以用到hive SQL的高效操作。
-- 创建基于hbase动态列的hive外部表
create external table hbase_events2(
row_key string,
dt string,
deviceinfo map<STRING,STRING>,
eventinfo map<STRING,STRING> )
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,eventinfo:dt,deviceinfo:,eventinfo:")
TBLPROPERTIES("hbase.table.name"="events");
最新文章
- 測試大型資料表的 Horizontal Partitioning 水平切割
- SVN+码云 简单使用流程
- dede currentstyle属性完美解决方案
- Windows和Linux（Ubuntu）下安装Scala及ScalaIDE
- [RxJS] Toggle A Stream On And Off With RxJS
- [AC自动机][HDU3065]
- Show 一下最新的动态属性扩展功能与键值生成器功能
- MFC连接Access讲解（3合1） .
- Lorenzo Von Matterhorn
- Spring MVC Junit4 单元测试 JunitTest
- Mac之brew使用
- Laravel 核心--Facades 门面
- Python3学习之路~4.4 软件目录结构规范
- testrem
- Jenkins进阶-Slave 节点的配置(11)
- MD5状态变量，为什么是A=0x67452301,B=0xefcdab89,C=0x98badcfe,D=0x10325476这几个变量
- vue 监听页面宽度变化 和 键盘事件
- 前端学习 -- Css -- 盒子模式
- CMake区分MSVC版本
- Python学习笔记：出生日期转化为年龄