在一个需要低延时响应的hbase集群中,使用hbase默认的客户端超时配置简直就是灾难. 但是我们可以考虑在客户端上加上如下几个参数,去改变这种状况: 1. hbase.rpc.timeout: RPC timeout, The default 60s, 可以修改为5000(5s) 2. ipc.socket.timeout: Socket link timeout, should be less than or equal to RPC timeout, the default is 20s

docker 安装 https://hub.docker.com/editions/community/docker-ce-desktop-mac 下载地址 下载完之后,安装app一样安装就好 安装完 配置 Docker 镜像站 mac 国内镜像站 http://f1361db2.m.daocloud.io             hbase 安装 https://www.jianshu.com/p/71db312807c7 参考连接 docker search hbase # 查找hbase

Exception in thread "main" org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:Wed Mar 27 22:11:07 CST 2019, null, java.net.SocketTimeoutException: callTimeout=60000, callDuration=76606: Connection refu

今天在用java程序连接hbase时,出现错误,The package org.apache.hadoop.hbase is accessible from more than one module: ,在网上百度也没能找出答案,但是经过很长时间的查找之后中遇找到了原因,那就是我自导入jar包时的位置不对, 错误的位置:是将其放在Modulepath目录下 ,也就是和jre放到了一起,这样是不对的. 正确的位置:应该放在Classpath下,这样就可以正常的运行了. 希望对大家有所帮助

本文是我个人在连接服务器的HBASE过程的一些问题总结. 一.用户和主机名的设置 1.1 报错:Insufficient permissions(user=Administartor) 原因:本地hostname为Administrator,而HBASE表的用户没有这个用户,所以报错. 措施:设置电脑的环境变量,步骤如下: 1)右击我的电脑->属性->高级系统: 2)新增变量名HADOOP_USER_NAME,值为mr(HBASE表的用户名) 如图: 1.2 hosts文件设置 提示:WARN

报错信息如下: The node /hbase is not in ZooKeeper. It should have been written by the master. Check the value configured in 'zookeeper.znode.parent'. There could be a mismatch with the one configured in the master. 经过调试,发现是自己的URL写错了:jdbc:phoenix:hdp03:/hba

v\:* {behavior:url(#default#VML);} o\:* {behavior:url(#default#VML);} w\:* {behavior:url(#default#VML);} .shape {behavior:url(#default#VML);} Normal 0 false 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE /* Style Definitions */ table.MsoNormalTable {

zookeeper的maxSessionTimeout默认值导致hbase regionserver超时 在hbase中经常会遇到regionserver挂掉的情况,查看日志会看到这样的错误信息 2016-02-16 11:51:24,882 WARN  [master/hadoop02/192.168.100.5:6000] zookeeper.ZKUtil: master:6000-0x3525df55101a556, quorum=hadoop02:2181,hadoop03:2181,h

Java连接Zookeeper 一.配置zk环境 本人使用的是虚拟机,创建了两台linux服务器(安装过程百度上很多) 准备zk的安装包,zookeeper-3.4.10.tar.gz,可在Apache官网下载,这里我提供了一个百度云的https://pan.baidu.com/s/15icVROSKpgwUzqzpHW6Rbg 密码dgnp 安装过程 环境准备:安装JDK,配置Hosts,配置Hostname.关闭防火墙 $ZOOKEEPER = /home/zookeeper_applica

Java连接Zookeeper以及书写简单增删改查的方法   摘要:本笔记主要记录了使用IDEA创建一个Maven项目并使用Maven配置文件下载Zookeeper连接驱动,连接云服务器的Zookeeper服务并书写一些简单的增删改查方法的过程. 目录 Java连接Zookeeper以及书写简单增删改查的方法 1.创建Maven项目 2.Zookeeper的连接操作 3.Zookeeper的添加操作 4.Zookeeper的删除操作 5.Zookeeper的修改操作 6.Zookeeper的查找

redis-server &  //后台启动redis redis-cli //使用redis   打开redis.conf文件在NETWORK部分有说明   /usr/local/src   ################################## NETWORK #####################################   # By default, if no "bind" configuration directive is specifi

1.导入必须的包: 详情看项目:http://pan.baidu.com/s/1cvDAOY 2.通过Myeclipse创建WEB项目 3. 3.bean:创建实体类 package com.bean; import java.io.Serializable; import java.util.Date; /** * @since 对应于mongodb中的数据库test中的表com * @author think * */ public class Company implements Seri

池(Pool)技术在一定程度上可以明显优化服务器应用程序的性能,提高程序执行效率和降低系统资源开销.这里所说的池是一种广义上的池,比如数据库连接池.线程池.内存池.对象池等.其中,对象池可以看成保存对象的容器,在进程初始化时创建一定数量的对象.需要时直接从池中取出一个空闲对象,用完后并不直接释放掉对象,而是再放到对象池中以方便下一次对象请求可以直接复用.其他几种池的设计思想也是如此,池技术的优势是,可以消除对象创建所带来的延迟,从而提高系统的性能. 要了解Java连接池我们先要了解数据库连接池(

使用springboot 线程池连接MySQL时,mysql数据库wait_timeout 为8个小时,所以程序第二天发现报错,在url配置了 autoReconnect=true 也不行,查询配置以下 #验证连接的有效性 spring.datasource.test-while-idle=true #获取连接时候验证,会影响性能spring.datasource.test-on-borrow=true spring.datasource.validation-query=SELECT 1 FR

在工程中使用了druid连接池,运行一段时间后系统出现异常: Caused by: org.springframework.jdbc.CannotGetJdbcConnectionException: Could not get JDBC Connection; nested exception is com.alibaba.druid.pool.GetConnectionTimeoutException: wait millis 60009, active 50 at org.springfr

Hbase深入学习(六) ―― Java操作HBase 本文讲述如何用hbase shell命令和hbase java api对hbase服务器进行操作. 先看以下读取一行记录hbase是如何进行工作的,首先hbaseclient端会连接zookeeper qurom,例如hbase_config.set(“hbase.zookeeper.quorum”,”192.168.50.216”)).通过zookeeper组件client能获知哪个server管理root-region.那么client

用过以后,总得写个总结,不然,就忘喽. 一.寻找操作的jar包. java操作hbase,首先要考虑到使用hbase的jar包. 因为咱装的是CDH5,比较方便,使用SecureCRT工具,远程连接到你安装的那台服务器上. jar包的存放位置在/opt/cloudera/parcels/CDH/lib/hbase,找到,下载下来. 在当前路径下,有一个lib包,里面是支持hbase的hadoop的jar包,根据需求,可以下载下来. 二.找一个API文档当成手册,哪里不会查哪里 百度分享,http

web项目中有时候客户要求我们使用ad域进行身份确认,不再另外做一套用户管理系统.事实上客户就是仅仅要一套账号能够訪问全部的OA.CRM等办公系统. 这就是第三方验证.一般有AD域,Ldap,Radius,邮件server等.最经常使用的要数AD域了.由于window系统在国内占领了大量的江山. 做起来也非常方便. 我这篇文章就是写.怎样用java去实现AD域的身份验证. 好了,直接看代码吧: package com.test; import java.util.Hashtable; impor

今天在 Java 连接 Mongo 集群时报了一个超时的错误,但是在本地客户端连接单节点的时候却能连上,具体报的错误如下: Caused by: com.mongodb.MongoTimeoutException: Timed out after 60000 ms while waiting for a server that matches {serverSelectors=[ReadPreferenceServerSelector{readPreference=primaryPreferre

一.前述. Hbase shell启动命令窗口,然后再Hbase shell中对应的api命令如下. 二.说明 Hbase shell中删除键是空格+Ctrl键. 三.代码 1.封装所有的API package com.sxt.hbase; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; impor

memcached常用语法及java使用方式 Author:SimpleWu Memcached 存储命令 Memcached set 命令用于将 value(数据值) 存储在指定的 key(键) 中. 如果set的key已经存在,该命令可以更新该key所对应的原来的数据,也就是实现更新的作用. set key flags exptime bytes [noreply] value Memcached add 命令用于将 value(数据值) 存储在指定的 key(键) 中. 如果 add 的