1、概述

DistCp(distributed copy)是一款被用于大型集群间/集群内的复制工具。
它使用MapReduce来实现其分布,错误处理和恢复以及报告。
它将文件列表和目录扩展为map任务的输入,每个任务都将复制源文件列表中指定的一些文件的一个分区。

2、基本运用

DistCp最常见的调用是一个集群间拷贝:

bash$ hadoop distcp hdfs://nn1:8020/foo/bar \
hdfs://nn2:8020/bar/foo

这会将nn1上的/ foo / bar下的命名空间扩展为一个临时文件,将其内容在一组map任务之间进行分区,
并在每个NodeManager上启动一个从nn1到nn2的复制任务。

你也可以在命令行上指定多个源目录:

最新文章

  1. RBAC权限管理
  2. sublime text 下的Markdown写作
  3. 响应式疑惑? CSS单位研究
  4. MIT 6.828 JOS学习笔记9. Exercise 1.5
  5. ImageView cannot be resolved to a type
  6. webservice 协议
  7. BZOJ 3687 简单题
  8. 水晶报表(web)表格信息展示
  9. 【LeetCode】96 - Unique Binary Search Trees
  10. 理解 traits
  11. Div+Css的初步运用
  12. c#重要特性之一委托
  13. iOS UIKit:Navigation Controllers
  14. CentOs下安装PHP扩展curl
  15. consumer zookeeper is not a recognized option
  16. springBoot(12)---整合Swagger2
  17. 2018-2019-2 20175332-实验一《Java开发环境的熟悉》实验报告
  18. 关于最新create-react-app使用react-app-rewired2.x添加webpack配置
  19. Windows2008 R2 X64 PHP环境搭建步骤
  20. Python题目练习(一)

热门文章

  1. SQLI LABS Advanced Part(23-37) WriteUp
  2. 谓词筛选表达式的扩展库PredicateLib
  3. msql分区
  4. 104 - kube-scheduler源码分析 - predicate整体流程
  5. 解读经典《C#高级编程》继承 页107-113.章4
  6. DSAPI 图形图像篇(上)
  7. .NET知识体系(转载)
  8. Excel自动换行、Export2Excel 自动换行
  9. Git日常须知
  10. Odoo 强大的开源微信模块 oejia_wx