Hadoop上传文件时报错: could only be replicated to 0 nodes instead of minReplication (=1)....
2024-10-19 04:21:10
问题
上传文件到Hadoop异常,报错信息如下:
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /home/input/qn_log.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
解决
1、查看问题节点的进程情况:
DataNode进程没有启动
2、查看Hadoop datanode.log信息
2018-08-17 05:48:58,076 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/usr/local/hadoop2.7/dfs/data/
java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop2.7/dfs/data: namenode clusterID = CID-e1a65f22-f0f6-4423-8c2b-03edd2f30766; datanode clusterID = CID-647259e5-0250-4676-8327-a09f8ccd38a7
报错的信息为,namenode clusterID 与 datanode clusterID 不一致!
分别为:
namenode clusterID = CID-e1a65f22-f0f6-4423-8c2b-03edd2f30766
datanode clusterID = CID-647259e5-0250-4676-8327-a09f8ccd38a7
回想了下,出现这个问题的原因:在于我在重启Docker容器之后,对HDFS重新做了格式化,导致版本不一致。
3、解决:
方法:将DataNode的版本,修改到与NameNode一致
(1)修改dfs/data/current/VERSION文件中,将clusterID的值,改为与namenode的clusterID的值
(2)重启集群,注意, 勿执行namenode格式化,如下:
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
再查一下节点进程
DataNode进程启动起来了!
再试一下上传,也OK了
最新文章
- 利用Ajax+MSMQ(消息队列)+WebService实现服务器端向客户端的信息推送
- Win7 64位 VS2013环境cuda_7.5.18的一些坑
- python 排序
- java.sql.SQLException: Invalid parameter object type. Expected 'java.util.Map' but found 'java.lang.String 转载
- Bitmap的一些操作
- 一种SpringMVC调用Javascript的方法
- 【BZOJ 1579】 1579: [Usaco2009 Feb]Revamping Trails 道路升级 (最短路)
- XmlDocument 转换为xml字符串
- VirtualBox不能为虚拟电脑打开一个新任务——The VirtualBox kernel modules do not match this version of VirtualBox
- jenkins使用4----git maven工具连接
- LR的损失函数&;为何使用-log损失函数而非平方损失函数
- day02-数据库操作
- redhat安装docker
- Spark记录-Spark On YARN内存分配(转载)
- bzoj2002 弹飞绵羊
- Java script 的dom编程
- 【Latex】数学公式排版
- CentOS6.5搭建MySQL5.1主从复制
- SQL Server WITH ROLLUP、WITH CUBE、GROUPING语句的应用
- Elasticsearch如何安装中文分词插件ik
热门文章
- java 调用 linux 命令行 +使用管道、awk等命令进行数据处理的方法
- Elasticsearch Java Rest Client API 整理总结 (一)——Document API
- BugkuCTF web2
- 腾讯/阿里/百度 BAT人才体系的职位层级、薪酬、晋升标准
- Go语言实现数据结构(一)单链表
- 微软职位内部推荐-Senior Software Engineer - Front End
- 初识kibana
- Scrum立会报告+燃尽图(Final阶段第七次)
- ios UnitTest 学习笔记
- (Alpha)Let's-典型用户和场景&;功能规格说明书