Hive —— 安装部署
一、安装Hive
1.1 下载并解压
下载所需版本的Hive,这里我下载版本为cdh5.15.2
。下载地址:http://archive.cloudera.com/cdh5/cdh/5/
# 下载后进行解压
tar -zxvf hive-1.1.0-cdh5.15.2.tar.gz
1.2 配置环境变量
# vim /etc/profile
添加环境变量:
export HIVE_HOME=/usr/app/hive-1.1.0-cdh5.15.2
export PATH=$HIVE_HOME/bin:$PATH
使得配置的环境变量立即生效:
# source /etc/profile
1.3 修改配置
1. hive-env.sh
进入安装目录下的conf/
目录,拷贝Hive的环境配置模板flume-env.sh.template
cp hive-env.sh.template hive-env.sh
修改hive-env.sh
,指定Hadoop的安装路径:
HADOOP_HOME=/usr/app/hadoop-2.6.0-cdh5.15.2
2. hive-site.xml
新建hive-site.xml 文件,内容如下,主要是配置存放元数据的MySQL的地址、驱动、用户名和密码等信息:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop001:3306/hadoop_hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
</configuration>
1.4 拷贝数据库驱动
将MySQL驱动包拷贝到Hive安装目录的lib
目录下, MySQL驱动的下载地址为:https://dev.mysql.com/downloads/connector/j/ , 在本仓库的resources目录下我也上传了一份,有需要的可以自行下载。
1.5 初始化元数据库
当使用的 hive 是1.x版本时,可以不进行初始化操作,Hive会在第一次启动的时候会自动进行初始化,但不会生成所有的元数据信息表,只会初始化必要的一部分,在之后的使用中用到其余表时会自动创建;
当使用的 hive 是2.x版本时,必须手动初始化元数据库。初始化命令:
# schematool 命令在安装目录的bin目录下,由于上面已经配置过环境变量,在任意位置执行即可 schematool -dbType mysql -initSchema
这里我使用的是CDH的hive-1.1.0-cdh5.15.2.tar.gz
,对应Hive 1.1.0
版本,可以跳过这一步。
1.6 启动
由于已经将Hive的bin目录配置到环境变量,直接使用以下命令启动,成功进入交互式命令行后执行show databases
命令,无异常则代表搭建成功。
# hive
在Mysql中也能看到Hive创建的库和存放元数据信息的表
二、HiveServer2/beeline
Hive内置了HiveServer和HiveServer2服务,两者都允许客户端使用多种编程语言进行连接,但是HiveServer不能处理多个客户端的并发请求,因此产生了HiveServer2。HiveServer2(HS2)允许远程客户端可以使用各种编程语言向Hive提交请求并检索结果,支持多客户端并发访问和身份验证。HS2是由多个服务组成的单个进程,其包括基于Thrift的Hive服务(TCP或HTTP)和用于Web UI的Jetty Web服务。
HiveServer2拥有自己的CLI工具——Beeline。Beeline是一个基于SQLLine的JDBC客户端。由于目前HiveServer2是Hive开发维护的重点,所以官方更加推荐使用Beeline而不是Hive CLI。以下主要讲解Beeline的配置方式。
2.1 修改Hadoop配置
修改 hadoop 集群的 core-site.xml 配置文件,增加如下配置,指定hadoop的root用户可以代理本机上所有的用户。
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
之所以要配置这一步,是因为hadoop 2.0以后引入了安全伪装机制,使得hadoop不允许上层系统(如hive)直接将实际用户传递到hadoop层,而应该将实际用户传递给一个超级代理,由该代理在hadoop上执行操作,以避免任意客户端随意操作hadoop。如果不配置这一步,在之后的连接中可能会抛出AuthorizationException
异常。
关于Hadoop的用户代理机制,可以参考:hadoop的用户代理机制 或 Superusers Acting On Behalf Of Other Users
2.2 启动hiveserver2
由于上面已经配置过环境变量,这里直接启动即可:
# nohup hiveserver2 &
2.3 使用beeline
可以使用以下命令进入beeline交互式命令行,出现Connected
则代表连接成功。
# beeline -u jdbc:hive2://hadoop001:10000 -n root
更多大数据系列文章可以参见个人 GitHub 开源项目: 程序员大数据入门指南
最新文章
- 短视频APP+不同类型社交应用发展分析+化妆品电商
- 2186: [Sdoi2008]沙拉公主的困惑 - BZOJ
- Linux 命令 - fg &; bg: 将进程切换到前台(后台)运行
- Android_AsyncTask_DownloadImg_progressDIalog
- iOS上获得MAC地址
- 编写一个jsp页面,输出九九乘法表。
- 日期选择器(Query+bootstrap和js两种方式)
- 常见浏览器扩展开发笔记(chrome firefox 360 baidu qq sougou liebao uc opera)
- Chapter 2 Open Book——21
- 关于EasyUI中DataGrid控件的一些使用方法总结
- 基于 React + Webpack 的音乐相册项目(下)
- z-index的权重是叠加的
- Touch Handling in Cocos2D 3.x(一)
- 生信基础知识【04】GO和pathway分析
- 改变RadioButton的文字位置以及距离
- python 浅谈小数据池和编码
- 每天一个linux命令(02):route命令
- PostgreSQL 数据类型
- Android中Sqlite数据库多线程并发问题
- Spring Boot 1.4 单元测试
热门文章
- python爬虫 BeautifulSoup
- sklearn 下的流行学习(Manifold Learning)—— sklearn.manifold
- 将 WPF、UWP 以及其他各种类型的旧 csproj 迁移成基于 Microsoft.NET.Sdk 的新 csproj
- delphi xe 之路(14)使用FireMonkeyStyle(一共30篇)
- Eclipseproject标准的文件夹层次
- Bootstrap 屏幕类型
- win32Helper
- 关于SetLocaleInfo()
- C#获取字符串宽度像素
- Chinese Messy Code of String