HDFS Shell 操作
2024-10-21 11:45:11
HDFS Shell 操作
HDFS Shell 命令行格式
- 格式一：hadoop fs –命令名 参数
- 格式二：hdfs dfs –命令名 参数
HDFS 常用命令及参数
ls：查看 hdfs 中的目录信息
[root@node-01 ~]# hadoop fs -ls /
put或copyFromLocal：将本地文件上传到 hdfs 中
[root@node-01 ~]# hadoop fs -put hdp.test01 /
#或者
[root@node-01 ~]# hadoop fs -copyFromLocal master.log /
moveFromLocal：将本地文件移动到 hdfs 中
[root@node-01 ~]# hadoop fs -moveFromLocal master.log /
get或copyToLocal：从 hdfs 下载文件到本地
[root@node-01 ~]# hadoop fs -get /install.log ./
#或者
[root@node-01 ~]# hadoop fs -copyToLocal /install.log ./
moveToLocal：将 hdfs 文件移动到本地中
[root@node-01 ~]# hadoop fs -moveToLocal /install.log ./
mkdir：在 hdfs 上创建文件夹
[root@node-01 ~]# hadoop fs -mkdir /test
mv：移动 hdfs 中的文件（或更名）
[root@node-01 ~]# hadoop fs -mv /install.log /test/install01.log
rm：删除 hdfs 文件（ -r 删除文件夹）
[root@node-01 ~]# hadoop fs -rm -r /test
rmdir：删除 hdfs 空目录
[root@node-01 ~]# hadoop fs -rmdir /test
cat或tail：查看 hdfs 文件内容
[root@node-01 ~]# hadoop fs -cat /master.log
#或者
[root@node-01 ~]# hadoop fs -tail -f /master.log
appendToFile：追加内容到 hdfs 文件中
[root@node-01 ~]# hadoop fs -appendToFile hello.log /install.log
chown：修改 hdfs 文件权限（hdfs没有真正权限模块，可以修改为任何用户名或组群）
[root@node-01 ~]# hadoop fs -chown binge:bingegroup /master.log
# 修改 hdfs 文件权限（WebUI即可操作HDFS文件）
[root@node-01 ~]# hadoop fs -chmod -R 777 /
cp：在 hdfs 内部复制文件
[root@node-01 ~]# hadoop fs -cp /master.log /master.log1
df：统计 hdfs 可用空间信息
[root@node-01 ~]# hadoop fs -df -h /
du：统计 hdfs 文件夹大小信息
[root@node-01 ~]# hadoop fs -du -h -s /test
count：统计 hdfs 指定目录的文件节点数量
[root@node-01 ~]# hadoop fs -count /test
setrep：设置 hdfs 中文件的副本数量
[root@node-01 ~]# hadoop fs -setrep 3 /test.txt
查看 hdfs 所有命令列表
[root@node-01 ~]# hadoop fs -help
Usage: hadoop fs [generic options]
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>]
[-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] <path> ...]
[-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
[-du [-s] [-h] [-v] [-x] <path> ...]
[-expunge [-immediate]]
[-find <path> ... <expression> ...]
[-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getfattr [-R] {-n name | -d} [-e en] <path>]
[-getmerge [-nl] [-skip-empty-file] <src> <localdst>]
[-head <file>]
[-help [cmd ...]]
[-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [<path> ...]]
[-mkdir [-p] <path> ...]
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
[-setfattr {-n name [-v value] | -x name} <path>]
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
[-tail [-f] [-s <sleep interval>] <file>]
[-test -[defswrz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touch [-a] [-m] [-t TIMESTAMP ] [-c] <path> ...]
[-touchz <path> ...]
[-truncate [-w] <length> <path> ...]
[-usage [cmd ...]]
最新文章
- discuz被别人评论一段代码，然后页面就变样了
- JSP网站开发基础总结《七》
- ccc 旋转
- 【Linux命令与工具】系统资源查看——free、uname、dmesg以及netstat
- On Caching and Evangelizing SQL
- Linux是怎么启动的
- linux下查看进程运行的时间
- javascript函数作用域链之词法作用域
- 【转】sqlserver数据库之间的表的复制
- Java学习之对象实例化
- 一行JavaScript代码获取页面中的所有超链接地址
- SQL 默认数据库被误删
- 排序算法Java实现（堆排序）
- 第一章 渲染调度来龙去脉——插入自己的shader
- 搭建alpine仓库 提供apk包
- 阿里云人脸识别测试接口出错 返回Body：{ "errno": 3002, "err_msg": "ILLEGAL_PARAMETERS", "request_id": "672cba83-cf93-4ef4-9ce5-d87e51601632" }
- 如何使用Windows防火墙禁止软件联网
- MongoDB索引管理－索引的创建、查看、删除
- Java的常用命令javac与java
- MySQL+Toad for Mysql安装，配置及导入中文数据解决乱码等问题