hive内部表、外部表
hive内部表、外部表区别自不用说,可实际用的时候还是要小心。
在让你真正明白什么是hive 博文中我们提到Hive是基于Hadoop分布式文件系统的,它的数据存储在Hadoop分布式文件系统中。Hive本身是没有专门的数据存储格式,也没有为数据建立索引,只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符,Hive就可以解析数据。所以往Hive表里面导入数据只是简单的将数据移动到表所在的目录中(如果数据是在HDFS上;但如果数据是在本地文件系统中,那么是将数据复制到表所在的目录中)。
<ignore_js_op>
从上图可以看出,表是在数据库下面,而表里面又要分区、桶、倾斜的数据和正常的数据等;分区下面也是可以建立桶的。
二、Hive的元数据
Hive中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。 由于Hive的元数据需要不断的更新、修改,而HDFS系统中的文件是多读少改的,这显然不能将Hive的元数据存储在HDFS中。目前Hive将元数据存储在数据库中,如Mysql、Derby中。我们可以通过以下的配置来修改Hive元数据的存储方式
- <property>
- <name>javax.jdo.option.ConnectionURL</name>
- <value>jdbc:mysql://localhost:3306/hive_hdp?characterEncoding=UTF-8
- &createDatabaseIfNotExist=true</value>
- <description>JDBC connect string for a JDBC metastore</description>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionDriverName</name>
- <value>com.mysql.jdbc.Driver</value>
- <description>Driver class name for a JDBC metastore</description>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionUserName</name>
- <value>root</value>
- <description>username to use against metastore database</description>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionPassword</name>
- <value>123456</value>
- <description>password to use against metastore database</description>
- </property>
复制代码
当然,你还需要将相应数据库的启动复制到${HIVE_HOME}/lib目录中,这样才能将元数据存储在对应的数据库中。
1. 内部表:
create table tt (name string , age string) location '/input/table_data';
此时,会在hdfs上新建一个tt表的数据存放地,例如,笔者是在 hdfs://master/input/table_data
上传hdfs数据到表中:
load data inpath '/input/data' into table tt;
此时会将hdfs上的/input/data目录下的数据转移到/input/table_data目录下。
删除tt表后,会将tt表的数据和元数据信息全部删除,即最后/input/table_data下无数据,当然/input/data下再上一步已经没有了数据!
如果创建内部表时没有指定location,就会在/user/hive/warehouse/下新建一个表目录,其余情况同上。
注意的地方就是:load data会转移数据!
2. 外部表:
create external table et (name string , age string);
此时,会在/user/hive/warehouse/新建一个表目录et
load data inpath '/input/edata' into table et;
此时会把hdfs上/input/edata/下的数据转到/user/hive/warehouse/et下,删除这个外部表后,/user/hive/warehouse/et下的数据不会删除,但是/input/edata/下的数据在上一步load后已经没有了!数据的位置发生了变化!本质是load一个hdfs上的数据时会转移数据!
3. 其他:
(1)加上location用法一样,只不过表目录的位置不同而已。
(2)加上partition用法也一样,只不过表目录下会有分区目录而已。
(3)load data local inpath直接把本地文件系统的数据上传到hdfs上,有location上传到location指定的位置上,没有的话上传到hive默认配置的数据仓库中。
最新文章
- ionic build android error when download gradle
- 第十七课:js数据缓存系统的原理
- C语言语句分类:大致可分为六大类
- 从输入 URL 到页面加载完的过程中都发生了什么事情?
- oracle中DECODE与CASE的用法区别
- c# linq 基础知识点
- 【转】Xcode7.1环境下上架iOS App到AppStore 流程 -- 不错!!
- CXF WebService整合Spring
- InputStream、OutputStream、String的相互转换(转)
- 在OC项目工程中混编Swift
- 【CC2530入门教程-06】CC2530的ADC工作原理与应用
- alpha-咸鱼冲刺day1
- SpriteBuilder中频繁的切换场景层的解决办法
- STM32的IAP实现
- embed 引入网上视频
- JS promise
- python全栈开发day17-常用模块collections,random,time,os,sys,序列化(json pickle shelve)
- sync.WaitGroup和sync.Once
- IDEA配置GIT
- 徐州网络赛J-Maze Designer【最小生成树】【LCA】
热门文章
- [转载]findContours函数参数说明及相关函数
- JSON对象如何转化为字符串?
- JSON字符串如何转化成对象?
- php中的 == 和 ===
- VB的gdi+相关声明
- SQL实现数组的功能
- 求出数组前面k个元素或数组中元素大于一半的元素(快速排序与堆排序的灵活运用)
- centos7 修改selinux 开机导致 faild to load SELinux policy freezing 错误
- 网站后台登录aspcms 提示错误号:-2147467259,错误描述:操作必须使用一个可更新的查询。sql=update AspCms_Content set TimeStatus=0 where TimeStatus=1 and Timeing <;= 解决方法。
- 《Java程序设计》实验五 实验报告