hdp3.1 hive 3.0的使用记录
近来在做项目中的技术调研,使用最新版的hdp3.1,其中使用spark2.3和hive 3.1.
遇到 一些问题,记录如下:
一,使用spark-sql client driver去访问hive创建的数据库,发现找不到,使用presto访问hive,只能读写外部表。
经过查询资料了解到,hive3.1默认对内部表支持事务和ACID特性,spark等外部工具无法直接读取ACID的表数据,
spark新版本正在跟进,但spark-sql本身也在和hive分离,走自己的路,已经和hive共用一个元数据库,但是使用不同的
catalog,存不同的元数据。
如果想使用spark-sql来处理hive的表数据,则需要做如下调整:
1.在advanced spark2-hive-site-override中配置metastore.catalog.default=hive之后重启spark2 服务,
这样就可以看到hive创建的数据库和表,但是只能访问外部表,无法访问内部表,原因上面已说明。
2.如果想使用presto,spark-sql来访问hive3.1的表,则需要做如下调整,放弃acid和事务特性。
hive.strict.managed.tables=false
hive.create.as.insert.only=false
metastore.create.as.acid=false
这三个属性设置之后,重启hive server2,这样hive 放弃了事务,acid的特性,生成的表数据,spark-sql,presto
就可以读取了。
二,使用kylin生成cube报错,无法修改hive运行时属性xxxxx
* hive.security.authorization.sqlstd.confwhitelist
Kylin在执行作业的时候,需要做一些mapreduce的优化,set xxx=xxx,但报错,显示不能在运行时修改,
经查可以配置这个属性,符合这个java正则的属性可以被修改。
最新文章
- Oracle 的字符集与乱码
- web app开发利器 - iscroll4 解决方案
- MySql分类
- Windows 服务入门指南
- SwipeBackLayout的使用方法,右滑返回
- Ant build.xml 批量打渠道包回顾!打第三方jar包总结
- [转]Compact Normal Storage for Small G-Buffers
- Silverlight 结合ArcGis 在地图画面上显示名称+ 点选图层事件委派
- Win 10开门人类智慧的世界领先
- DWR 整合之Hibernate
- 除trigger()方法外的jquery手动触发事件
- Delphi制作图像特殊显示效果
- 【翻译】理解Joomla!模板
- STL迭代器------Traits编程技法详细理解(一)
- 感觉还是要学点c才牛逼
- python系统性能模块笔记
- c# 值类型与引用类型的传参(形参与实参)
- 重拾 BFC、IFC、GFC、FFC
- 跟据经纬度实现附近搜索Java实现
- 【刷题】BZOJ 3930 [CQOI2015]选数
热门文章
- c++编译错误:invalid new-expression of abstract class type
- linux CentOs 7.4 64位 系统下 nuxt部署 、nginx 安装、node环境及软连接,pm2软连接
- Mybatis中输出映射resultType与resultMap的区别
- WebSocket简述
- 2019-8-31-C#-通过-probing-指定-dll-寻找文件夹
- 基于日志服务的GrowthHacking(1):数据埋点和采集(APP、Web、邮件、短信、二维码埋点技术)
- 在laravel框架中使用ajax请求报错419
- 如何实现两个input框的同步更新
- LeetCode103 Binary Tree Zigzag Level Order Traversal
- redhat6.5安装yum