presto,dremio,spark-sql与ranger的整合记录
dremio,spark-sql,presto和ranger的整合
当前,ranger没有现成的插件来管理dremio,spark-sql,presto。
暂时使用的方法是新建一个用户,如presto可以创建一个presto用户,然后在ranger中对presto用户赋予hive,hdfs的访问权限。
尤其是在hive doas权限开启的时候,一定要把对应的hdfs的权限也分配一下。
然后使用presto用户来启动presto的worker,cordinaor进程,这样提交的查询都是使用这个用户,可以正常访问hdfs和hive.
但是这样的问题就是,不管jdbc使用什么用户,都是无效的。
presto整合到ambari安装的时候,默认是使用root用户进行启动的,可以修改
/var/lib/ambari-server/resources下面的presto-worker.py,presto-cordinator.py中install和start方法,
install方法中添加useradd presto,chown -R presto:presto /usr/hdp/current/presto
start 方法中添加 sudo -u presto ,这样就可以使用presto用户来启动presto的相关进程。
网络上可以查到一个信息,一个presto的发行公司startbust自己发行的presto可以配置hive.security=ranger可以
与ranger进行整合。
presto安装后需要注意的配置是hive.config.resources=/etc/hadoop/conf/hdfs-site.xml,/etc/hadoop/conf/core-site.xml
这样才可以使用NAMENODE HA中配置的namespace,不会报找不到主机异常。
最新文章
- 《玩转D语言系列》二、D语言现状、基本规定和相关资源介绍
- hdu 2074
- UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence
- mysql数据库 安装 (原创)
- Android--创建进度框ProgressDialog
- atoi()函数的实现
- Python脚本控制的WebDriver 常用操作 <;十四>; 处理button dropdown 的定位
- C++中const小结
- MFC 遍历FTP服务器目录中文乱码问题
- Laravel OAuth2 (二) ---配置与数据库设计
- linux中移动光标
- 在线xss练习平台
- laravel 错误 1071 Specified key was too long; max key length is 1000 bytes
- 从零开始学 Web 之 ES6(一)ES5严格模式
- 新装的arcgis10.5特别卡
- mysql 增加列,修改列名、列属性,删除列语句
- steam pipeGUI
- Abp.Linq.Extensions扩展(1)--static class QueryableExtensions
- Postgresql 珍藏级文章
- [zhuan]SQLServer查询最近一天,三天,一周,一月,一季度方法
热门文章
- PLAY2.6-SCALA(十) 模板引擎Twirl
- ubuntu 代理配置
- nodeJs学习-10 模板引擎 ejs语法案例
- Project configuration is not up-to-date with pom.xml. Run Maven->;Update Project or use Quick Fix
- Java数据类型分析
- docker下载容器镜像
- css字体大小单位
- 2019-1-9-WPF-最小的代码使用-DynamicRenderer-书写
- Django ORM------Mysql
- 「HNOI2015」菜肴制作