Hadoop常见shell命令
2024-10-20 11:34:54
Hadoop中常见的shell命令
1、如何将Linux本地的数据上传到HDFS中？
hadoop fs -put 本地的文件 HDFS中的目录
hdfs dfs -put 本地的文件 HDFS中的目录
2、如何创建HDFS中的文件夹？
需求：想创建/shujia/bigdata17
hadoop fs -mkdir -p /shujia/bigdata17
hdfs dfs -mkdir /shujia/bigdata17
注意：不加-p只能生成单级文件夹
3、查看当前HDFS目录下的文件和文件夹？
hadoop fs -ls /shujia/bigdata17/
hdfs dfs -ls /shujia/bigdata17
4、将HDFS中的文件下载到Linux本地中
hadoop fs -get HDFS中的文件目录 本地要存放文件的目录
hdfs dfs -get HDFS中的文件目录 本地要存放文件的目录
5、删除命令（如果垃圾回收站大小小于被删除文件的大小，直接被删除，不经过回收站）
hadoop fs -rm... #仅删除文件
hadoop fs -rmr... #删除文件夹
删除后，会自动创建回收站，数据依旧保留至一天（日志保留七天）
6、移动文件
hadoop fs -mv 目标文件 目的地路径
7、HDFS内部复制文件
hadoop fs -cp [-p] ... ... #如果想复制文件夹，加上-p参数
强制格式化集群
1、停止正在运行的集群
stop-all.sh
2、删除所有节点Hadoop根目录中的tem文件夹
3、在主节点（master）中Hadoop的根目录中的bin目录下，重新格式化HDFS
./hdfs namenode -format
4、启动集群
start-all.shs
查看node1中block0的block pool id：
/usr/local/soft/hadoop-2.7.6/tmp/dfs/data/current
查看node1中block的block id：
/usr/local/soft/hadoop-2.7.6/tmp/dfs/data/current/BP-140862523-192.168.226.110-1653106365562/current/finalized/subdir0/subdir0
最新文章
- Redis 学习笔记续
- 【随笔】ssh登录时如何直接在参数中加入登录密码
- pip install使用豆瓣源
- CUBRID学习笔记 12防火墙设置 linux
- python判断一个数字是整数还是浮点数
- [笔记]ACM笔记 - 组合数
- Eviews 9.0新功能——估计方法（ARDL、面板自回归、门限回归）
- 关于mysql 自定义@row的使用
- Elasticsearch大规模时序索引如何治理和规划
- W7500S2E串口转以太网
- parquet 简介
- 重写Object的equals方法
- Failed to start component [StandardEngine[Tomcat].StandardHost[localhost]]
- C#数组冒泡
- TOJ 4976: 新生数（深搜）
- 美团客户端响应式框架EasyReact开源啦
- laravel query builder/ Eloquent builder 添加自定义方法
- solr单元测试
- 【题解搬运】PAT_L1-009 N个数求和
- Codeforces 662C(快速沃尔什变换 FWT)