Hadoop-httpfs: client向httpfs提交文件操作,由httpfs和集群交互; 优势:client不必访问集群

WebHDFS API: https://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-project-dist/hadoop-hdfs/WebHDFS.html

coludera install: https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cdh_ig_httpfs_install.html

yum install hadoop-httpfs

1. /etc/hadoop-httpfs/conf/httpfs-site.xml 

<property>
  <name>httpfs.hadoop.config.dir</name>
  <value>/etc/hadoop/conf</value>
</property>
<property>
  <name>httpfs.authentication.type</name>
  <value>kerberos</value>
</property>
<property>
  <name>httpfs.hadoop.authentication.type</name>
  <value>kerberos</value>
</property>
<property>
  <name>httpfs.authentication.kerberos.principal</name>
  <value>HTTP/cdd03@PASC.COM</value>
</property>
<property>
  <name>httpfs.authentication.kerberos.keytab</name>
  <value>/etc/security/keytab/httpfs.keytab</value>
</property>
<property>
  <name>httpfs.hadoop.authentication.kerberos.principal</name>
  <value>httpfs/cdd03@PASC.COM</value>
</property>
<property>
  <name>httpfs.hadoop.authentication.kerberos.keytab</name>
  <value>/etc/security/keytab/httpfs.keytab</value>
</property>

2. /etc/hadoop/conf/core-site.xml

<property>
  <name>hadoop.proxyuser.httpfs.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.httpfs.groups</name>
  <value>*</value>
</property>

3. 重启namenode,启动httpfs服务

使用:curl  --negotiate -u :  http://cdd03:14000/webhdfs/v1/tmp/?op=liststatus

红色地方必须使用:hostname(kerberos认证会用到)

最新文章

  1. SQL Server 查询、搜索命令、语句
  2. Selenium2(webdirver)入门之环境搭建(Java版)
  3. PHP中文字符串编码转换
  4. iOS 开发线程 gcd
  5. codeforces 58E:Expression
  6. AVPlayer 视频播放
  7. YUV422蓝屏显示输出功能辅助调试
  8. 265行JavaScript代码的第一人称3D H5游戏Demo【个人总结1】
  9. HDU 1151 Air Raid(最小路径覆盖)
  10. Python自动化运维之2、运算符与数据类型
  11. java线程池的注意事项
  12. ios开发之滑动长图截全屏应用
  13. PHP平台CMS系统Drupal小试身手----安装教程
  14. Python中eval函数的作用
  15. git中提示 please tell me who you are
  16. 【JAVA】杨辉三角
  17. window傻瓜式安装tensorflow
  18. QT数据类型的转化总结
  19. curl发送json格式数据
  20. SSM(Spring+SpringMVC+Mybatis)框架环境搭建(整合步骤)(一)

热门文章

  1. 【原创】Java基础之Nginx缓存
  2. [转载]为什么用Java开发桌面程序的比较少
  3. python中获取当前位置所在的行号和函数名(转)
  4. nginx 配置反向代理和负载均衡
  5. react中怎么写css样式?
  6. jboss日志的自定义
  7. JavaWeb【六、JavaBean】
  8. Win10 OpenCV3.3.0+VS2013配置大坑,OpenCV解决方案编译报错“找不到python36_d.lib”错误
  9. 2.Java NIO 简介
  10. 5.Nginx的session一致性(共享)问题配置方案1