最近在学习HBase先关的知识,顺便做一下笔记,以加深知识的了解和掌握. Hbase常用工具 文件检测修复工具 hbase hbck -help 常用选项: -details 显示所有region检查的完整报告 -summary 输出表和状态的总结信息 -metaonly 只检查-ROOT-和.META.表 -fixAssignments 用于修复Region分配错误 -fixMeta 用于修复.META.表的问题(前提是HDFS上的region信息是正确的) -fixHdfsHoles 修复R

一. 背景(原http://blog.csdn.net/u011414200/article/details/50437356 ,对其进行了一定更改) 1.1 网络上的大部分教程 都是机器间含有SSH联通来启动的.生产环境一般都是不配置SSH机器之间互通的. 1.2 主机规划 IP 主机名 用户名 部署模块 进程 10.6.3.43 master5 hadoop5 NameNodeResourceManagerHBase NameNodeDFSZKFailoverControllerResour

1:Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误,是因为jar包冲突了,所以对于和hadoop的jar包冲突的,可以将其他jar包删除,如果你不确定是否删除正确,可以将其他的jar包复制备份或者修改名称,确保操作以后失败了,还可以找回. SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding -cdh5..jar!

1.情况描述如题所示,hbase启动以后,HMaster进程启动了,几秒钟以后自动关闭,但是HRegionServer进程正常运行: 原因是,hdfs的默认端口号是8020,而我core-site.xml中将hdfs的端口修改为了9000. <property> <name>fs.defaultFS</name> <value>hdfs://hadoop1:9000/</value> </property> 但是在我们并没有指定hdf

不多说,直接上干货! 问题详情 情况描述如题所示,hbase启动以后,HMaster进程启动了,几秒钟以后自动关闭,但是HRegionServer进程正常运行: 解决办法: 1.检查下每台机器的时间是否同步: 2.检查下每台机器的防火墙是否关闭: 3.查看HMaster的日志路径 但是不久后HMaster会自动关闭,hbase启动失败啊!!! 查看日志 我们这样解决,我们进入zookeeper里面,删除hbase的数据 再次启动hbase HMaster不会挂掉.即成功解决. 欢迎大家,加入我的

hbase启动慢 hbase启动非常慢,要几个小时,查看日志,发现有如下异常信息: 2016-12-02 22:39:09,365 ERROR [RS_LOG_REPLAY_OPS-db-dn001:60020-1] wal.HLogFactory : Can't open after 24 attempts and 310206ms for hdfs://mycluster/hbase/WALs/db-dn 003.inc.mtime.com,60020,1480536673700-split

昨天测试环境的Hbase启动有问题,日志中显示: transaction type: 1 error: KeeperErrorCode = NoNode for /hbase hmaster等其他进程日志中显示连接不上zookeeper,发现zookeeper启动有问题. 于是判断可能是zookeeper中的某些数据丢失了,之前也出现过类似的启动问题,都是清除zookeeper所有数据解决的,这显然不能根本上解决问题. 进一步分析和判断想到hbase的数据目录,由于商测环境是用伪分布式的方式部署

HBase启动时遇到IP地址解析不正确,连不上Regionserver , 配置文件上写的 192.168.100.28, 错误信息  Problem binding to /202.102.110.204:60020 : Cannot assign requested address .   配置的地址和解析出来的地址不一致,导致Regionserver 没有启动, 在 /etc/sysconfig/network 中配置了本机的HOSTNAME,我的机器上是这样的, NETWORKING=y

Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)

前一段时间vmware上的ubuntu的hbase用不了了,而hadoop能正常的操作,非常的奇怪. 错误信息好像是connect fail, RPC什么的,看来跟网路有关. 想起以前曾经解决过hbase启动错误的办法:重新格式化hdfs.但这回没有用了,还是连接失败,差点就想重装虚拟机了.后来突然想到,最近好像更改过虚拟机的ip,就检查一下/etc/hosts,但这文件已经改过来了,是什么问题呢?突然想到是不是跟ssh有关?修改ip之后需要重新生成ssh的key才行,hbase可能是通过网络来

Hadoop HA 搭建hbase启动时只有HMaster起来,HRegionServer没有起来 查看报错信息为: 2019-08-31 19:17:14,212 ERROR [main] regionserver.HRegionServer: Failed construction RegionServer java.lang.IllegalArgumentException: java.net.UnknownHostException: mycluster at org.apache.ha

Hbase启动出问题 2019-12-15 09:59:57,183 WARN [hadoop:16000.activeMasterManager] hdfs.DFSClient: DFS Read org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1472472866-192.168.121.133-1568433211461:blk_1073741842_1018 file=/hbase/hbas

启动HBase集群: bin/start-hbase.sh 单独启动一个HMaster进程: bin/hbase-daemon.sh start master 单独停止一个HMaster进程: bin/hbase-daemon.sh stop master 单独启动一个HRegionServer进程: bin/hbase-daemon.sh start regionserver 单独停止一个HRegionServer进程: bin/hbase-daemon.sh stop regionserve

ambari metrics collector内置hbase目录位于 /usr/lib/ams-hbase 配置位于 /etc/ams-hbase/conf 通过ruby启动 /usr/lib/ams-hbase/bin/hirb.rb 实际的启动命令为 /usr/lib/ams-hbase/bin/hbase-daemon.sh --config /etc/ams-hbase/conf foreground_start master 但是启动一段时间报错: java.lang.Runtime

启动hbase后,主节点的进程正常,但是子节点的regionserver进程会自动挂掉 然后我们看看子节点的情况 可以看到挂掉了 我们这样解决问题,先把hadoop目录下的这个两个文件放到hbase的conf目录下 core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configurati

今天在启动HBase时发现如下错误:/bin/java: No such file or directory6/bin/../bin/hbase: line 412: /usr/local/jdk1.8.0_152/bin/java,而在我的hbase-env.sh中又JAVA_HOME,路径也是正确的,可为什么还会报这个错误呢?后来我才发现是因为我使用的hbase-env.sh文件是我自己创建的,而不是hbase目录中本身存在的那个配置文件,hbase不认可这种自己创建的配置文件因此才报错,特

HMaster没起来很多原因,这次看日志是这个.详细请看:http://www.bkjia.com/yjs/982064.html Hbase:namespace异常处理,hbase异常处理 Hbase 集群部署启动后几秒自动退出异常处理, 1.hadoop 与 hbase 版本不兼容,会导致此异常. 2.log 为 org.apache.hadoop.hbase.TableExistsException: hbase:namespace 异常, 很可能是更换了Hbase的版本过后zookeep

详细问题   我这里是,我的这个slave1的HRegionServer 进程启动后,不久自动消失.           去查看日志,排查问题: 发现问题: 解决办法 [hadoop@master hbase]$ su root Password: [root@master hbase]# ntpdate pool.ntp.org [hadoop@slave1 hbase]$ su root Password: [root@slave1 hbase]# ntpdate pool.ntp.org

1 异常信息 Received error when attempting to archive files ([class org.apache.hadoop.hbase.backup.HFileArchiver$FileablePath, file:hdfs://hdp:9000/hbase/.tmp/data/WMBIGDATA/LAT_LNG_INDEX/310c60128e85a5a2d1ee3b9fc3e085db/0, class org.apache.hadoop.hbase.b

已经用cm  安装好了cdh,需要在上面添加HBase,并且做一个HBase故障转移功能,现在需要配置2个HMaster 在不同的机器上. 启动出现异常信息: 2015-12-23 14:44:38,893 INFO org.apache.zookeeper.ZooKeeper: Session: 0x351cc5eec210013 closed 2015-12-23 14:44:38,893 INFO org.apache.zookeeper.ClientCnxn: EventThread s

启动hbase的时候: -cdh4.5.0/bin$ hbase shell cat: /home/hadoop/hbase--cdh4.5.0/target/cached_classpath.txt: 没有那个文件或目录 // :: WARN conf.Configuration: hadoop.native.lib is deprecated. Instead, use io.native.lib.available HBase Shell; enter 'help<RETURN>' fo