将Mongodb的表导入到Hive中

1.官方文档：https://docs.mongodb.com/ecosystem/tools/hadoop/

2.Hive介绍：

　　Hive特点：　　

　　1.hive是一个数据仓库，和oracle，mysql等数据仓库相比，它底层依赖于hdfs。

　　2.hive是sql解析引擎，将sql语句转换成Map/Reduce任务，然后在hadoop hdfs上执行

　　3.hive的表其实就是一个目录，hive中表的数据就在文件中

　　Hive元数据：

　　Hive将元数据存储在数据库中（ metastore),支持mysql,derby(默认）,oracle

　　元数据：包括表的名字，表的列，分区，及属性，表的属性（是否为外部表），以及表的存放目录，不包括任何数据

3.Hive安装：

　　Hive运行模式：

　　　　1.嵌入模式：hive的元数据保存在其自带的derby中，同一时间只允许一个连接，多用于demo

　　　　2.本地模式：元数据库在mysql中，mysql与hive在同一物理机器上。

　　　　3.远程模式：同2，只是mysql运行在别的机器上。

　　本地模式的安装：用mysql存储元数据

　　　　1.安装mysql（参考官网）

　　　　2.将mysql java-driver放入$Hive_HOME/lib中

　　　　3.创建hive-site.xml,如下，注意文件名强制是这个。　　

　　　　　同时注意&在xml中需要转义处理，即&

<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;connectTimeout=10000</value>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>hivemeta</value>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>hivemeta</value>

  </property>

</configuration>

　　注意你在xml种写的user应该在mysql种有远程登录的权限

　　　　创建mysql用户并赋予全部权限，先root账户登录，再执行

　　　　grant all privileges on *.* to testhive@"%" identified by "testhive" // *.*代表所有表，“%“代表出本机以外的所有ip，testhive为用户名和密码

　　　　grant all privileges on *.* to testhive@"localhost" identified by "testhive"

　　　　flush privileges

　　3.启动mysql.

　　4.执行bin/hive,输入show tables，输出OK，则安装成功。

　　　　如果出现 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient，或是hive中输入任何命令都无反应，则说明metastore启动失败，表示你的元数据连接方面失败。此时执行

　　　　hive -hiveconf hive.root.logger=debug,console -service metastore 启动mestore并设置错误信息级别，根据错误信息排错。

　　　　还可netstat -an|grep 3306查看mysql端口连接情况，如果hive元数据库连接成功，连接状态应该是established.

4.开始导入数据

　　　1.确保hive可以正常使用。

　　　2.参考https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage

　　　3.如果你的hive版本和我一样也是2.3.x，那么恭喜你，因为会遇到许多的classNotfoundException

　　　准备工作：在hdsf创建目录/user/hive/warehouse，并将bson文件上传至 hdfs中。启动hdfs.

　　　4.具体步骤：

　　　　　　1.下载3个包：core, hive, and the Java driver，导入到lib中

　　　　　　2.根据自己的业务规则编写sql。

　　　　　　3.执行hive -hiveconf hive.root.logger=debug,console -f xxx.sql。

　　　　　　4.如果返回ok，执行成功，否则检查错误信息。

　　　　　　5.以我hive2.3.3+mongodb4.x的环境来说，遇到的问题：

1.类org.apache.hadoop.hive.serde2.SerDe未找到，github中的MongoStorageHandler.java长期未更新，查看lib中的jar包发现这个类只

在1.x的hive中的lib才有，

解决：将hive-serde-1.2.2.jar。

2.缺少某些bson类，使用了1.x的lib中可能使用了 2.x没有的相关的bson类

解决：将bson-3.8.0.jar导入到lib中。

巴特西

将Mongodb的表导入到Hive中

最新文章

热门文章