【Hadoop离线基础总结】Hive的安装部署以及使用方式

Hive的安装部署以及使用方式

安装部署

Derby版hive直接使用

cd /export/softwares

将上传的hive软件包解压：tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/

cd /export/servers/hive-1.1.0-cdh5.14.0/

启动：bin/hive

缺点：多个地方安装hive后，每一个hive是拥有一套自己的元数据，大家的库、表就不统一；
使用mysql共享hive元数据

1.国内下载mysql源：http://mirrors.163.com/mysql/Downloads/

2.下载完成后将tar包解压到/var/cache/yum/x86_64/7/mysql57-community/packages

3.可以用两种方法安装

(1) yum install mysql mysql-server mysql-devel （安装包已经放到指定路径下，就不用再下载了）

(2) rpm -ivh *.rpm（安装前要先cd到上面说的文件夹）

第二种安装时如果出现“公钥未安装”之类的字眼，在后面加 --force --nodeps即可

4.启动mysql的服务

service mysqld start或systemctl start mysqld.service（CentOS 7 之后的版本两个都能用）

5.查看mysql服务是否启动成功

service mysqld status或systemctl status mysql.service

6.初始化mysql并生成随机密码

初始化mysql：mysqld --initialize

查看随机密码：cat /var/log/mysqld.log

7.使用随机密码登录，并修改密码

登录：mysql -uroot -p

修改密码强度：set global validate_password_length=6;

修改密码长度：set global validate_password_policy=LOW;（因为打算设置一个简单的密码，所以需要修改）

修改密码：ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

8.退出mysql，修改mysql安装配置

修改mysql安装配置：/usr/bin/mysql_secure_installation

需要选择是n/y，我的顺序是n/y/n/y/y

9.进去mysql，修改访问权限

修改访问权限：grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;

*.* 第一个*表示数据库名称，第二个*表示数据库下面的哪个表

'root'@'%' root表示mysql的用户，%表示ip地址，可以从哪台机器使用那个用户来连接数据库

all privileges 所有的权限，这里还可以写insert update delete select

identified by 远程连接的时候的密码，与mysql的root用户密码无关

实际线上环境，关于mysql的控制比较严格，不同的人分配不同的用户，创建不同的数据库，分配不同的权限

刷新权限表：flush pricileges;

10.修改hive的两个配置文件

修改hive-env.sh

cd /export/servers/hive-1.1.0-cdh5.14.0/conf

cp hive-env.sh.template hive-env.sh

vim hive-env.sh

创建hive-site.xml

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

        <property>

                <name>javax.jdo.option.ConnectionURL</name>

                <value>jdbc:mysql://node03.hadoop.com:3306/hive?createDatabaseIfNotExist=true</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionDriverName</name>

                <value>com.mysql.jdbc.Driver</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionUserName</name>

                <value>root</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionPassword</name>

                <value>123456</value>

        </property>

        <property>

                <name>hive.cli.print.current.db</name>

                <value>true</value>

        </property>

        <property>

                <name>hive.cli.print.header</name>

                <value>true</value>

        </property>

        <property>

                <name>hive.server2.thrift.bind.host</name>

                <value>node03.hadoop.com</value>

        </property>

<!--

        <property>

                <name>hive.metastore.uris</name>

                <value>thrift://node03.hadoop.com:9083</value>

        </property>

-->

</configuration>

11.上传mysql的lib驱动包

上传到这里：cd /export/servers/hive-1.1.0-cdh5.14.0/lib

参照mysql-connector-java和mysql的对应关系进行选择下载（图转自CSDN博主「hchhan89」）

使用方式

第一种交互方式

使用hive的bin/hive可以进入hive的客户端，执行sql语句

cd /export/servers/hive-1.1.0-cdh5.14.0

启动：bin/hive

查看所有的数据库：hive (default)> SHOW DATABASES;

创建一个数据库：hive (default)> CREATE DATABASE myhive;

使用该数据库并创建数据库表：hive (default)> USE myhive

hive (default)> CREATE TABLE test(id INT,name STRING)
第二种交互方式

Hive JDBC服务

可以前台启动服务端：bin/hive --service hiveserver2 在前台就会一直占用一个窗口

也可以把进程挂在后台： nohup bin/hive --service hiveserver2 2>&1 &

再使用beeline进行交互：bin/beeline !connect jdbc:hive2://node03:10000
第三种交互方式

Hive命令

-e参数表示直接执行hql的语句：bin/hive -e "use myhive;select * from test;"

-f参数表示通过指定文本文件来执行hql语句：bin/hive -f hive.sql

更多参数参考

巴特西

【Hadoop离线基础总结】Hive的安装部署以及使用方式

Hive的安装部署以及使用方式

安装部署

使用方式

最新文章

热门文章