hdfs 通过NFSV3 加载至本地目录
常常会有这种需求,把HDFS的目录MOUNT到本地目录,然后方便使用LINUX下面的命令直接操作.
FUSE也可以达到同样的效果,但是配置比较复杂,新的HADOOP版本都建议使用NFS3来完成这个需求.
要点记录,
1. CORE-SITE.XML 修改
<property>
<name>hadoop.proxyuser.student.groups</name>
<value>*</value>
<description></description>
</property>
<property>
<name>hadoop.proxyuser.student.hosts</name>
<value>*</value>
<description>
</description>
</property>
加粗的是HADOOP用户,这点需要注意,也可以改成ROOT
2.HDFS-SITE.XML
\<!-- nfs configuration needed -->
<property>
<name>nfs.dump.dir</name>
<value>/tmp/.hdfs-nfs</value>
</property>
<property>
<name>nfs.exports.allowed.hosts</name>
<value>* rw</value>
</property>
3.关掉本机的NFS服务
service stop rpcbind
service stop nfs
4.开启HDFS的NFS服务
使用ROOT用户启动 PORTMAP服务
./hdfs portmap &
其他用户没有权限绑定端口
使用STUDENT用户开启NFS3
./hdfs nfs3 &
5.创建MOUNT点,加载
mkdir /mnt/hdfs
mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync localhost:/ /hdfs
在NAMENODE节点上使用ROOT用户运行上述命令
有时候会报ROOT不能模拟ROOT用户的错误,这个错误,可能是BUG,需要更新HADOOP版本
我使用的版本是HADOOP2.6
最新文章
- Django基础，Day1 - 环境安装与pycharm创建django项目
- Windows编程中UNICODE和_UNICODE定义问题
- sqlserver 附加数据库失败，错误提示：5拒绝访问 解决办法
- C# 属性、索引
- 局域网单机部署双tomcat内外网不能访问防火墙问题查出来
- SQLSERVER 数据库性能的的基本
- SPF 简介
- name值与id值在Js获取元素时的区别
- eclipse解压后启动弹出A Java Runtime Evironment(JRE) or Java Development Kit(JDK)....
- bootstrap bootstrapTable 分页 传值问题
- oracle中substr函数的用法
- 《Linux系统静态路由和火墙路由》
- Servlet课程0425（六） 不经过验证直接跳转---session实现不同页面之间共享数据
- -_-#【CSS3】CSS3 gradient transition with background-position
- 如何消除word中的回车符号
- [WPF] 将普通的Library工程，改造成WPF Custom Control 的Library
- SSD和HDD的区别
- Ajax&jQuery教案总结
- Spring Boot 集成swagger实例
- 一个简单的基于 DirectShow 的播放器 2（对话框类）