hadoop distcp 命令使用指导
2024-08-25 16:41:05
1、概述
DistCp(distributed copy)是一款被用于大型集群间/集群内的复制工具。
它使用MapReduce来实现其分布,错误处理和恢复以及报告。
它将文件列表和目录扩展为map任务的输入,每个任务都将复制源文件列表中指定的一些文件的一个分区。
2、基本运用
DistCp最常见的调用是一个集群间拷贝:
bash$ hadoop distcp hdfs://nn1:8020/foo/bar \
hdfs://nn2:8020/bar/foo
这会将nn1上的/ foo / bar下的命名空间扩展为一个临时文件,将其内容在一组map任务之间进行分区,
并在每个NodeManager上启动一个从nn1到nn2的复制任务。
你也可以在命令行上指定多个源目录:
最新文章
- RBAC权限管理
- sublime text 下的Markdown写作
- 响应式疑惑? CSS单位研究
- MIT 6.828 JOS学习笔记9. Exercise 1.5
- ImageView cannot be resolved to a type
- webservice 协议
- BZOJ 3687 简单题
- 水晶报表(web)表格信息展示
- 【LeetCode】96 - Unique Binary Search Trees
- 理解 traits
- Div+Css的初步运用
- c#重要特性之一委托
- iOS UIKit:Navigation Controllers
- CentOs下安装PHP扩展curl
- consumer zookeeper is not a recognized option
- springBoot(12)---整合Swagger2
- 2018-2019-2 20175332-实验一《Java开发环境的熟悉》实验报告
- 关于最新create-react-app使用react-app-rewired2.x添加webpack配置
- Windows2008 R2 X64 PHP环境搭建步骤
- Python题目练习(一)