Hive的连接和运行模式
原文链接:
https://www.toutiao.com/i6771018203687551495/
Hive的连接
启动hadoop的时候将history也启动,如果出问题,可以方便我们后续定位
首先将Hive变成对外开放
启动hiveserver2
我们查看下
如果杀掉需要用kill -9 PID的方式
启动beeline
查看帮助信息
简单使用下,和mysql中显示一样
官网
我们往下拉
!connect jdbc:hive2://localhost:10000
我们直接使用root登录,不被允许
User: root is not allowed to impersonate root(state=08S01,code=0)
错误原因是
在core-site.xml中,有一个配置
这个地方可以理解为
hadoop.proxyuser.xxx.hosts和hadoop.proxyuser.xxx.groups
xxx设置为root(即你的错误日志中显示的User:xxx为什么就设置为什么)
“*”表示可通过超级代理“xxx”操作hadoop的用户、用户组和主机
主要原因是hadoop引入了一个安全伪装机制,使得hadoop 不允许上层系统直接将实际用户传递到hadoop层,而是将实际用户传递给一个超级代理,由此代理在hadoop上执行操作,避免任意客户端随意操作hadoop
而hadoop内部还是延用linux对应的用户和权限。即你用哪个linux用户启动hadoop,对应的用户也就成为hadoop的内部用户
修改core-site.xml(我之前这个地方写的其它用户)
重新连接
退出
登录之后,可以使用一些命令
JDBC连接
我们新建项目执行代码
执行代码
我们看hive中,已经新建了表格,其它语句可以完成官网示例,不再一一练习
Hive的运行模式
依据Hive的安装和metastore的设置机器,分为下面三个模式:
嵌入模式:使用自带的derby数据库
本地模式:将metastore放在mysql,并且mysql和hive安装在同一台机器上
远程模式:将metastore放在mysql,并且mysql和hive安装在不同一台机器上
其中配置远程的配置文件是
配置内容是
指定hive连接数据库(mysql所在的机器)
端口号默认是9083
也可以启动服务:bin/hive –service metastore &(不建议这种方式)
有时候我们发现hive会跑mapreduce有时候不会,那是因为fetch模式
在hive-site.xml.template中
None模式
不管写什么SQL都会跑mapreduce
Minimal模式
当select*、针对分区字段进行过滤、以及limit不会跑mapreduce
More模式
当select*、过滤、以及limit不会跑mapreduce
虚拟列
官网
我们查询下
进入db_deptemp,执行语句
select *, INPUT__FILE__NAME,BLOCK__OFFSET__INSIDE__FILE from emp;
最新文章
- XD, XR, DR 股票
- android源码中修改wifi热点默认始终开启
- 利用should.js进行测试
- UI—代理简单使用
- cdoj 1141 酱神寻宝 状压dp
- bjfu1109 最小公倍数和
- mysql---整体备份和增量备份
- shell 中函数放回字符串问题
- C#导出数据的EXCEL模板设计
- (转)Javascript面向对象编程(二):构造函数的继承(作者:阮一峰)
- Xamarin.Android Binding篇
- 【Android Developers Training】 8. 定义Action Bar风格
- 一些比较隐秘的OJ的网址
- 如何将一个二进制的xxx.bin文件轻松转为C语言数组
- 装python package 时,conda提示会升级python2到python3,那可能是你的windows不支持py2env下的此包。
- HttpRunner框架(一)
- OCIEnvCreate 失败,返回代码为 -1,但错误消息文本不可用
- iOS开发-类簇(Class Cluster)
- Oracle卸载之Win7操作系统下Oracle11g 数据库卸载过程图解
- 阿里云短信发送服务SDK-Python3
热门文章
- 前端浅谈---协议相关(TCP连接)
- secret_file
- box-shadow(盒子阴影)
- Nginx中配置反向代理的proxy_pass的不同斜杠的区别
- 在制造业的工业2.0中应用MOM系统
- UDP&;串口调试助手用法(5)
- Visual Studio Code常用快捷键
- 【LeetCode】325. Maximum Size Subarray Sum Equals k 解题报告 (C++)
- 【九度OJ】题目1138:进制转换 解题报告
- Fibonacci String(hdu 1708)