解决CDH 访问权限问题
2024-09-04 20:23:28
CDH 6.2 安装好以后，直接使用root 或者 其他账号执行spark-shell 会报权限错误
22/01/04 17:46:28 ERROR spark.SparkContext: Error initializing SparkContext.
org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:400)
...
因为CDH版的HDFS系统中，hdfs用户才是超管，他所在的组在HDFS里是supergroup
而非linux下的 root 或者 其他用户。
解决办法：
## 创建hadoop用户，（由于已存在hadoop组，就直接-g 加入）
useradd -g hadoop hadoop
## 添加sudo权限，已经干了的话，这里就忽略
visudo
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
hadoop ALL=(ALL) ALL ## 自主添加的一行
修改完毕 ：wq！
## Linux 下创建超级用户组
groupadd supergroup
## 把hadoop用户加入supergroup组中
usermod -a -G supergroup hadoop
## 同步系统权限信息到HDFS,会自动同步其他节点权限
su - hdfs -s /bin/bash -c "hdfs dfsadmin -refreshUserToGroupsMappings"
最新文章
- PHP引用(&)使用详解
- HTA全解析：给VBS和JS一个强大的交互界面
- hdu4888 Redraw Beautiful Drawings 最大流+判环
- three.js 显示一个绿色的正方体
- MySQL高可用之MHA的搭建 转
- sqlserver 行转列 语文,数学,物理,化学
- S3C2440 I2C总线控制
- 零基础创建RCP工程
- rsa 密钥和公钥的生成
- SDWebImage缓存
- JavaScript算法与数据结构知识点记录
- js求三位数的和
- Lucene第二篇【抽取工具类、索引库优化、分词器、高亮、摘要、排序、多条件搜索】
- Mysql基本命令及数据库存储位置
- SQL，group by分组后分别计算组内不同值的数量
- Spring Data REST API集成Springfox、Swagger
- LightOJ - 1027 Dangerous Maze 期望
- Python 常用模块之re 正则表达式的使用
- AsyncTask异步类的简单操作
- LCD常用接口原理概述