hadoop-httpfs
Hadoop-httpfs: client向httpfs提交文件操作,由httpfs和集群交互; 优势:client不必访问集群
WebHDFS API: https://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-project-dist/hadoop-hdfs/WebHDFS.html
coludera install: https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cdh_ig_httpfs_install.html
yum install hadoop-httpfs 1. /etc/hadoop-httpfs/conf/httpfs-site.xml
<property>
<name>httpfs.hadoop.config.dir</name>
<value>/etc/hadoop/conf</value>
</property>
<property>
<name>httpfs.authentication.type</name>
<value>kerberos</value>
</property>
<property>
<name>httpfs.hadoop.authentication.type</name>
<value>kerberos</value>
</property>
<property>
<name>httpfs.authentication.kerberos.principal</name>
<value>HTTP/cdd03@PASC.COM</value>
</property>
<property>
<name>httpfs.authentication.kerberos.keytab</name>
<value>/etc/security/keytab/httpfs.keytab</value>
</property>
<property>
<name>httpfs.hadoop.authentication.kerberos.principal</name>
<value>httpfs/cdd03@PASC.COM</value>
</property>
<property>
<name>httpfs.hadoop.authentication.kerberos.keytab</name>
<value>/etc/security/keytab/httpfs.keytab</value>
</property>
2. /etc/hadoop/conf/core-site.xml
<property>
<name>hadoop.proxyuser.httpfs.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.httpfs.groups</name>
<value>*</value>
</property>
3. 重启namenode,启动httpfs服务
使用:curl --negotiate -u : http://cdd03:14000/webhdfs/v1/tmp/?op=liststatus
红色地方必须使用:hostname(kerberos认证会用到)
最新文章
- SQL Server 查询、搜索命令、语句
- Selenium2(webdirver)入门之环境搭建(Java版)
- PHP中文字符串编码转换
- iOS 开发线程 gcd
- codeforces 58E:Expression
- AVPlayer 视频播放
- YUV422蓝屏显示输出功能辅助调试
- 265行JavaScript代码的第一人称3D H5游戏Demo【个人总结1】
- HDU 1151 Air Raid(最小路径覆盖)
- Python自动化运维之2、运算符与数据类型
- java线程池的注意事项
- ios开发之滑动长图截全屏应用
- PHP平台CMS系统Drupal小试身手----安装教程
- Python中eval函数的作用
- git中提示 please tell me who you are
- 【JAVA】杨辉三角
- window傻瓜式安装tensorflow
- QT数据类型的转化总结
- curl发送json格式数据
- SSM(Spring+SpringMVC+Mybatis)框架环境搭建(整合步骤)(一)
热门文章
- 【原创】Java基础之Nginx缓存
- [转载]为什么用Java开发桌面程序的比较少
- python中获取当前位置所在的行号和函数名(转)
- nginx 配置反向代理和负载均衡
- react中怎么写css样式?
- jboss日志的自定义
- JavaWeb【六、JavaBean】
- Win10 OpenCV3.3.0+VS2013配置大坑,OpenCV解决方案编译报错“找不到python36_d.lib”错误
- 2.Java NIO 简介
- 5.Nginx的session一致性(共享)问题配置方案1