hadoop的 namenode又一次格式化以后.重新启动hbase.发现它的hmaster进程启动后立即消失,查看一大堆日志,最后在zookeeper的日志里发现例如以下问题 Unable to read additional data from client sessionid 0x14e86607c850007, likely client has closed socket 解决 方法:删除掉hbase的hdfs-site.xml中一下内容所配置路径下的文件夹.重新启动zookeeper

一个常见的问题:格式化namenode,造成无法启动datanode的问题.     问题描述:   无法启动datanode,查看日志,datanote尝试n次启动无效后,会出现这个语句 INFO org.apache.hadoop.ipc.RPC: Server at localhost/127.0.0.1:9000 not available yet, Zzzzz...     解决办法:   1.先清空tmp目录下的所有文件.因为每次namenode format会重新创建一个namen

错误: java.io.IOException: Incompatible clusterIDs in /data/dfs/data: namenode clusterID = CID-d1448b9e-da0f-499e-b1d4-78cb18ecdebb; datanode clusterID = CID-ff0faa40-2940-4838-b321-98272eb0dee3 原因: 每次namenode format会重新创建一个namenodeId,而data目录包含了上次format

这是因为格式化namenode之后,namenode节点中VERSION的ClusterID会改变!!! 解决办法: 1.打开namenode节点的hdfs-site.xml文件,查看你的namenode的元数据存储位置和datanode数据存储位置: 2.然后到对应的的目录下找到VERSION文件: 3.打开namenode的VERSION文件,复制其中的ClusterID,粘贴到所有datanode节点VERSION文件的ClusterID后,再次启动集群即可!

// :: FATAL namenode.NameNode: Failed to start namenode. org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check successful responses: : false exceptions thrown: : No Route to Host failed on socket timeout exception: java.net.NoRouteT

格式化namenode时报错警告:WARN common.Util: Path /data/dfs/name should be specified as a URI in configuration 一.问题分析 在执行hadoop namenode格式化命令:bin/hadoop namenode -format时出现警告: WARN common.Util: Path /data/dfs/name should be specified as a URI in configuration

[user6@das0 hadoop-0.20.203.0]$ bin/hadoop namenode -format 12/02/20 14:05:17 INFO namenode.NameNode: STARTUP_MSG:  Re-format filesystem in /data0/hadoop-name ? (Y or N) y Format aborted in /data0/hadoop-name 12/02/20 14:05:20 INFO namenode.NameNode:

$cd /app/hadoop/hadoop-2.2.0/ $./bin/hdfs namenode -format

一般是修改配置文件:etc/hadoop/hadoop-env.sh的时候出现的错误 export JAVA_HOME=/usr/jdk export HADOOP_COMMON_HOME=~/hadoop-2.7.0(Hadoop的安装位置) 一定要仔细检查,小心前边的~

1.问题出现: 在格式化NameNode后,集群上安装的OpenTSDB的表(存在hbase中)都没有了,重新运行OpenTSDB预创建表步骤报错显示table already exists 2.原因: hadoop重新格式化后,hdfs上没有了数据,在hbase中新建表却提示Table already exists.是因为以前建过同名的表,虽然HDFS上和Hbase相关的东西都已经删除了.但是zookeeper保存有hbase表的地址,数据访问是通过zookeeper的地址转到hdfs上,这是

本次是第一次在生产环境部署HBase,本文若有配置上的不妥之处还请高手指正. hadoop版本:hadoop-2.4.1 HBase版本:hbase-0.98.6.1-hadoop2 Zookeeper版本:ZooKeeper3.4.6 JDK:1.6 操作系统:centOS6.3 64bit 1. 安装snappy :-.el6 #yum install snappy-devel 记录一下,当前GCC版本4.4.7 2. 由于hadoop官网下载的bin包中包含的native lib是32bi

最近遇到了一个问题,执行start-all.sh的时候发现JPS一下namenode没有启动        每次开机都得重新格式化一下namenode才可以        其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失        于是我们得重新配置一个tmp文件目录        首先在home目录下建立一个hadoop_tmp目录                sudo mkdir ~/hadoop_tmp        然后修

格式化namenode root@node04 bin]# sudo -u hdfs hdfs namenode –format 16/11/14 10:56:51 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = node04/172.16.145

集群格式化hdfs后,在主节点运行启动hdfs后,发现namenode启动了,而datanode没有启动,在其他节点上jps后没有datanode进程!原因: 当我们使用hdfs namenode -format格式化namenode时,会在namenode数据文件夹中保存一个current/VERSION文件,记录clusterID,而datanode中保存的current/VERSION文件中的clustreID的值是第一次格式化保存的clusterID,刚好有进行了一次格式化,在namen

最近重新格式化NameNode以后,发现几个DataNode都不能启动了. 这是因为dfs.name.dir路径下面有一个current/VERSION文件,里面有一个clusterID,重新格式化以后,clusterID和以前的不一样了,需要把新的clusterID复制到所有DataNode的dfs.data.dir路径下面的current/VERSION文件里面相应的位置,然后就可以重新启动了.

一般namenode只格式化一次,重新格式化不仅会导致之前的数据都不可用,而且datanode也会无法启动.在datanode日志中会有类似如下的报错信息: java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-root/dfs/data: namenode clusterID = CID-7f25bc20-e822-4b15-9063-4da48884cb60; datanode clusterID = CID-911d3bd8

body { margin: 0 auto; font: 13px / 1 Helvetica, Arial, sans-serif; color: rgba(68, 68, 68, 1); padding: 5px } h1, h2, h3, h4 { color: rgba(17, 17, 17, 1); font-weight: 400 } h1, h2, h3, h4, h5, p { margin-bottom: 16px; padding: 0 } h1 { font-size: 2

环境介绍: 系统:centos7 软件包: apache-phoenix-4.14.0-HBase-1.4-bin.tar.gz  下载链接:http://mirror.bit.edu.cn/apache/phoenix/apache-phoenix-4.14.1-HBase-1.4/bin/apache-phoenix-4.14.1-HBase-1.4-bin.tar.gz hadoop-3.1.1.tar.gz 下载链接:http://mirror.bit.edu.cn/apache/had

准备工作: 1)安装了伪分布式hadoop:参照http://blog.csdn.net/zolalad/article/details/11472207 2)修改已安装好的hadoop配置文件: a)修改hdfs-site.xml <property>  <name>dfs.support.append</name>      <!-- 可追加-->  <value>true</value> </property>  

项目描述: 今天花了680元买了阿里云的一台内存1G, 带宽1M 的云主机. 想以后方便测试用,而且想把自己的博客签到自己的主机上.所以自己就搭了一个测试的环境. 可以用来进行基本的hbase 入库, hadoop  mrjob 的运行. 步骤: 1.配置JDK 我的安装路径如下:/usr/local/java/jdk1.7.0_79 设置环境变量: JAVA_HOME=/usr/local/java/jdk1.7.0_79 export PATH=$JAVA_HOME/bin:$PATH 刷新

1         Hbase日常运维 1.1       监控Hbase运行状况 1.1.1        操作系统 1.1.1.1 IO 群集网络IO,磁盘IO,HDFS IO IO越大说明文件读写操作越多.当IO突然增加时,有可能:1.compact队列较大,集群正在进行大量压缩操作. 2.正在执行mapreduce作业 可以通过CDH前台查看整个集群综合的数据或进入指定机器的前台查看单台机器的数据: Io wait 磁盘IO对集群的影响比较大,如果io wait时间过长需检查系统或磁盘是