使用python来访问Hadoop HDFS存储实现文件的操作
原文:http://rfyiamcool.blog.51cto.com/1030776/1258292
在调试环境下,咱们用hadoop提供的shell接口测试增加删除查看,但是不利于复杂的逻辑编程
查看文件内容
用python访问hdfs是个很头疼的事情。。。。
这个是pyhdfs的库
import pyhdfs
fs = pyhdfs.connect("192.168.1.1", )
pyhdfs.get(fs, "/rui/111", "/var/111")
f = pyhdfs.open(fs, "/test/xxx", "w")
pyhdfs.write(fs, f, "fuck\0gfw\n")
pyhdfs.close(fs, f)
pyhdfs.disconnect(fs)
pyhdfs的安装过程很吐血
svn checkout http://libpyhdfs.googlecode.com/svn/trunk/ libpyhdfs
cd libpyhdfs
cp /usr/lib/hadoop-0.20/hadoop-core-0.20.-cdh3u0.jar lib/hadoop-0.20.-core.jar
cp /usr/lib/hadoop-0.20/lib/commons-logging-1.0..jar lib/
cp /usr/lib/libhdfs.so. lib/
ln –s lib/libhdfs.so. lib/libhdfs.so
python setup.py install --prefix="/usr/local"
还有就是把 selinux也给关了 不然会出现莫名的问题
如果出现
/usr/lib/jvm/java-6-sun/include/jni.h:27:20: error: jni_md.h: No such file or directory
搜下find / -name jni.h
然后修改#include "jni_md.h" 为 #include "linux/jni_md.h"
这个是用pydoop的库
import pydoop.hdfs as hdfs
with hdfs.open('/user/myuser/filename') as f:
for line in f:
print(line)
我现在使用的方法是用subprocess ,哈哈,方法很搓吧,主要原因是我这边没有太多的性能估计,只是单纯的把mapreduce的接口给搞出来而已。
这么简单用用也还可以的~
需要把很多自己常用的指定都封装成库
cat = subprocess.Popen(["hadoop", "fs", "-cat", "/path/to/myfile"], stdout=subprocess.PIPE)
for line in cat.stdout:
print line
补充下(从视hadoop为儿戏到现在对mapreduce半斤八两,对我自己来说,还是有很大的进步的。所以关于hadoop python操作不能再用以前的方法啦。):
最近了解了更加方便的库,算是文档和利用最好的了。
pyhdfs是对libhdfs的python封装库. 它提供了一些常用方法来处理HDFS上的文件和目录, 比如读写文件, 枚举目录文件, 显示HDFS可用空间, 显示文件的复制块数等。
libhdfs 是HDFS的底层C函数库, 由hadoop官方提供, pyhdfs使用swig技术, 对libhdfs提供的绝大多数函数进行了封装, 目的是提供更简单的调用方式.
如何连接hadoop集群?
fs = hadoop.HadoopDFS("username","password","ugi",)
fs.disconnect()
如何获取当前工作目录?
fs = hadoop.HadoopDFS("username","password","ugi",)
print fs.getWorkingDirectory()
fs.disconnect()
如何更改当前工作目录?
fs = hadoop.HadoopDFS("username","password","ugi",)
print fs.setWorkingDirectory("/user/ns-lsp/logs")
fs.disconnect()
如果目录不存在setWorkingDirectory()返回-,如果执行成功,返回0
如果目录不存在setWorkingDirectory()返回-,如果执行成功,返回0
如何判断某个文件/目录是否存在?
fs = hadoop.HadoopDFS("username","password","ugi",)
print fs.pathExists("/user/ns-lsp/logs")
fs.disconnect()
文件/目录存在,返回0,如果不存在,返回-
如何创建一个目录?
fs = hadoop.HadoopDFS("username","password","ugi",)
print fs.createDirectory("/user/ns-lsp/logs/cjj")
fs.disconnect()
如果目录已经存在,则返回-,如果目录创建成功,返回0
如何获得当前默认块大小?
fs = hadoop.HadoopDFS("username","password","ugi",)
print fs.getDefaultBlockSize()
fs.disconnect()
如何获得当期目录下的文件/目录?
fs = hadoop.HadoopDFS("username","password","ugi",)
print fs.listDirectory("/user/ns-lsp/logs")
fs.disconnect()
如何移动一个文件/目录?
同一HDFS内移动文件:
fs = hadoop.HadoopDFS("username","password","ugi",)
print fs.move("/user/ns-lsp/logs/cjj","/user/ns-lsp/logs/cjj_new")
fs.disconnect()
不同HDFS之间移动文件:
target_fs = hadoop.HadoopDFS("username","password","ugi",)
fs = hadoop.HadoopDFS("username","password","ugi",)
print fs.move("/user/ns-lsp/logs/cjj","/user/ns-lsp/logs/cjj_new",target_fs)
fs.disconnect()
如何删除一个文件/目录?
fs = hadoop.HadoopDFS("username","password","ugi",)
print fs.delete("/user/ns-lsp/logs/cjj_new")
fs.disconnect()
如何重命名一个文件/目录?
fs = hadoop.HadoopDFS("username","password","ugi",)
print fs.rename("/user/ns-lsp/logs/cjj","/user/ns-lsp/logs/cjj1")
fs.disconnect()
如何修改一个文件/目录的权限?
fs = hadoop.HadoopDFS("username","password","ugi",)
print fs.chmod("/user/ns-lsp/logs/cjj",)
fs.disconnect()
如何文件块所在的服务器名?
有时我们需要查找某些文件块所在的服务器名是什么,可以如下使用:
fs = hadoop.HadoopDFS("username","password","ugi",)
print fs.getHosts("/user/ns-lsp/logs/cjj/a",,)
fs.disconnect()
返回包含服务器名的列表.
$ python gethosts.py
['xxxx']
如何获取一个文件/目录的信息?
fs = hadoop.HadoopDFS("username","password","ugi",)
pathinfo = fs.getPathInfo("/user/ns-lsp/logs/cjj")
fs.disconnect()
getPathInfo()返回一个hdfsFileInfo类。
如何指定文件的备份数?
fs = hadoop.HadoopDFS("username","password","ugi",)
print fs.setReplication("/user/ns-lsp/logs/cjj/a",)
fs.disconnect()
如何打开一个文件,并读取数据?
要操作文件,需要创建一个HadoopFile对象,并利用read()方法读取数据.
fs = hadoop.HadoopDFS("username","password","ugi",)
fh = hadoop.HadoopFile(fs,'/user/ns-lsp/logs/cjj/a')
print fh.read()
fh.close()
fs.disconnect()
最新文章
- 超简单,spring boot 添加mybatis
- bash基础
- spf13-vim安装与使用
- redis-desktop-manager
- 【html5】Web存储_locaStorage对象的应用
- jquery+bootstrap使用数字增减按钮
- iOS no visible @interface for 'UIButton' declares the selector errors
- Android开发总是难以入门
- 未来十年的十三条思考(FW)
- jq获取表单值与赋值代码
- C++访问权限
- LIBSVM的使用方法
- 【转】Windows7打造全方位护眼系统
- 快速配置SSH证书登录
- 工信部表态支持Linux,可是Linux又是什么呢?
- 用MVC+EF快速弄出一个CRUD
- Linux 中 sudo、su命令
- Pyhton编程(四)之基本数据类型-字符串详解
- VS2017 启动调试报错无法启动程序 当前状态中非法
- OO第一单元优化博客