hive基础及系统架构
2024-08-27 06:01:49
1、hive是什么
hive是建立在hadoop上的数据仓库,提供数据的提取、转化和加载。
2、hive的数据存储
1】hive的数据存储基于hdfs
2】存储结构主要包括:数据库、文件、表、索引、视图
3】hive默认可以直接加载文本文件(TextFile),还支持SecquenceFile、RCFile
4】创建表时,指定hive数据的列分隔符与行分隔符,hive即可解析数据
3、hive的系统架构
1)、用户接口:包括jdbc、cli、webui
2)、元数据存储:通常存储在关系数据库中,如mysql、derby
例:存储元数据到mysql中:
a 安装MySQL数据库
yum install -y mysql-server mysql mysql-deve
b、重启mysql服务
service mysqld restart
c、登陆MySQL,并授予权限
mysql -u root -p ***
分配权限:grant all privileges on *.* to 'root'@'hadoop-yarn' identified by 'root123';
刷新权限:flush privileges
d、创建hive专用的元数据库:“hive”
create database hive;
e.hive的hive-site.xml的配置
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.1.121:3306/hive?characterEncoding=utf-8</value>
<description>JDBC connect string for aJDBCmetastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for aJDBCmetastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use againstmetastoredatabase</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
<description>password to use againstmetastoredatabase</description>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
</configuration>
3)、解释器、优化器、编译器、执行器
4)、Hadoop:用hdfs进行存储,mapreduce进行计算
最新文章
- python命令行解释器 argparse
- [转]使用 google gson 转换Timestamp或Date类型为JSON字符串.
- Bootstrap系列 -- 7. 列表排版方式
- AngularJs Angular数据类型判断
- 应用HTK搭建语音拨号系统4: 识别器评估
- SourceForge无法访问的解决办法
- codeForce-589D Boulevard(判断线段是否相交)
- UDP 内网穿透 心跳
- 【M10】在构造方法内阻止资源泄漏
- python 列表 字典 读写文件:pickle模块的基本使用
- Android特效 五种Toast详解
- PHP在Windows下安装配置第一步
- ios 添加多个target 管理 多个版本文件
- C++几个技巧:智能指针在消息传递中的使用,元组,及lambda删除器
- 优化 or 语句
- <;FAT文件系统>; -- DBR
- UOJ #30【CF Round #278】Tourists
- C#:导入Excel通用类(Xls格式)
- artDialog 弹窗提示
- java 里定义的方法参数 (final String... args)