1.zookeeper简单介绍 zookeeper是一个分布式的,开放源码的分布式应用程序协调服务,我所了解到的主要的使用场景有两个 (1).微服务注册中心(Dubbo较常用Zookeeper做注册中心). (2).分布式锁.2.下载zookeeper 下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/ 3.单机模式安装配置 ZooKeeper的安装包括单机模式安装,以及集群模式安装.单机模式较简单,是指只部署一个zk进程,客户端直接与该zk进程进

zookeeper单机模式安装 更多文章:http://blogxinxiucan.sh1.newtouch.com/2017/07/26/zookeeper单机模式安装/ 下载zookeeper ubuntu下直接用命令下载 wget http://apache.osuosl.org/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz 解压 tar -zvxf zookeeper-3.4.10.tar.gz cd zookeeper-3.4.1

网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了不少但终究还是把问题都解决了,所以顺便自己详细记录下完整的安装过程. 此篇主要介绍在Ubuntu安装完毕后,如何进行Hadoop的安装和配置. 我所记录的笔记适合没有Linux基础的朋友跟我一起操作,同时欢迎高手参观指导. 环境约定 以下环境基于攥写时间:5th July 2015. 宿主机器:Windows 8 虚拟机环境:WMware Wrokstation 11 Ubuntu版本:Ubuntu

网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了不少但终究还是把问题都解决了,所以顺便自己详细记录下完整的安装过程. 此篇主要介绍在虚拟机设置完毕后,如何进行Ubuntu的安装. 我所记录的笔记适合没有Linux基础的朋友跟我一起操作,同时欢迎高手参观指导. 环境约定 以下环境基于攥写时间:5th July 2015. 宿主机器:Windows 8 虚拟机环境:WMware Wrokstation 11 Ubuntu版本:Ubuntu Deskt

网络上关于如何单机模式安装Hadoop的文章很多,按照其步骤走下来多数都失败,按照其操作弯路走过了不少但终究还是把问题都解决了,所以顺便自己详细记录下完整的安装过程. 此篇主要介绍如何在Windows环境下设置虚拟机环境以及一些准备工作,熟悉WMware的朋友可以略过. 我所记录的笔记适合没有Linux基础的朋友跟我一起操作,同时欢迎高手参观指导. 环境约定 以下环境基于攥写时间:5th July 2015. 宿主机器:Windows 8 虚拟机环境:WMware Wrokstation 11

zookeeper有单机.伪集群.集群三种部署方式,可根据自己实际情况选择合适的部署方式.下边对这三种部署方式逐一进行讲解. 一 单机模式 1.下载 进入要下载的版本的目录,选择.tar.gz文件下载下载链接:http://archive.apache.org/dist/zookeeper/注意:点击进入之后,会显示zookeeper文件的下载目录,如图所示,显示了多个版本可以下载.alpha版本是内测,功能不是很完全的,能够满足一定的需要,这里我们不建议选择:beta是公测版本,基本上可以满足

一.实验环境说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序: XfceTerminal: Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令 Firefox:浏览器,可以用在需要前端界面的课程里,只需要打开环境里写的HTML/JS页面即可 GVim:非常好用的编辑器,最简单的用法可以参考课程Vim编辑器 3. 环境使用 使用GVim编辑器

Hadoop单机模式安装 一.实验介绍 1.1 实验内容 hadoop三种安装模式介绍 hadoop单机模式安装 测试安装 1.2 实验知识点 下载解压/环境变量配置 Linux/shell 测试WordCount程序 1.3 实验环境 hadoop2.7.6 Linux CentOS6终端 1.4 适合人群 本课程难度为一般,属于初级级别课程,适合具有linux基础的用户. 1.5 相关文件 https://pan.baidu.com/s/1a_Pjl8uJ2d_-r1hbN05fWA 二.H

Hadoop 2.x 版本比起之前的版本在Hadoop和MapReduce上做了许多变化,主要的变化之一,是JobTracker被ResourceManager和ApplicationManager所替代.这种架构上的改变使得hadoop可以扩展到更大规模的集群上. 本篇文章用于介绍如何在单节点上安装Hadoop 2.x. 先决条件: Java 6 已经安装 SSH 已经配置 安装Hadoop 2.x 的详细步骤: 1.下载源代码 你可以从这里下载Hadoop 2.x的源代码,解压到文件夹/ho

前言:由于只是在自己的虚拟机上进行学习,所以对hive只是进行最简单的配置,其他复杂的配置文件没有配置. 1.前提 1.1 安装配置jdk1.8 1.2 安装hadoop2.x hadoop单机模式安装见:centos7 hadoop 单机模式安装配置 1.3 安装mysql并配置myql允许远程访问,我的mysql版本5.7.18. mysql数据库安装过程请参考:Centos 7.2 安装 Mysql 5.7.13 2.下载hive 下载地址:http://mirror.bit.edu.cn

第一部分 安装前准备 1.安装hadoop 今天刚刚学了hbase的一点基础,准备安装Hbase实际操练一下.因为安装hbase的前提条件是已经成功安装了hadoop,而且hadoop的版本要和hbase的版本相匹配.于是去官网查询了一下我安装的hadoop-3.1.0(目前是最新版)对应支持的hbase版本,然后.....发现没有任何一版hbase是支持hadoop-3.1.0的,默默泪奔.....果然最新的不一定是最好的.查看hbase与hadoop的版本匹配情况:http://hbase.

    之前折腾了几天,想让hbase的单机模式在cygwin上跑起来,都不成功.正当我气馁之时,我无意中发现hbase0.96.0的bin和conf目录下有一些扩展名为cmd的文件.这难道是给windows用的?难道现在hbase可以直接在windows上运行了?抱着这样的想法,我尝试了不用cygwin的方法运行hbase,还真成功了.特此记录下来,给需要的人做一个参考. 1. 环境: Win7 64bit JDK1.6.0_43 64bit hbase-0.96.0-hadoop1 没错,不

前言 由于现在要用spark,而学习spark会和hdfs和hive打交道,之前在公司服务器配的分布式集群,离开公司之后,自己就不能用了,后来用ambari搭的三台虚拟机的集群太卡了,所以就上网查了一下hadoop+hive的单机部署,以便自己能进行简单的学习,这里记录一下,本来想把hadoop和hive的放在一起写,由于太多,就分成两篇写了. 1.首先安装配置jdk(我安装的1.8) 2.下载hadoop 下载地址:http://mirror.bit.edu.cn/apache/hadoop/

1.下载kafka,网址: https://www.apache.org/dyn/closer.cgi?path=/kafka/2.0.0/kafka_2.12-2.0.0.tgz 2.移动tar包到/Applications 目录,然后解压: 解压命令:tar -zxvf kafka_2.12-2.0.0.tar 这里为了方便,把文件夹 kafka_2.12-2.0.0 重命名为 kafka 3.启动 1)启动kafka前需要先启动zookeeper,这里使用默认配置,直接启动Kafka自带的

http://zookeeper.apache.org/releases.html#download 下载解压到(我自己的)解压到 /usr/local 下 把名字改成 zookeeper 进入zookeeper目录下的conf目录,复制zoo_sample.cfg为zoo.cfg,并将内容修改如下(就是解压后的路径,其他的不用改了,这个路径一般与默认的不同,要改) dataDir=/usr/local/zookeeper tickTime:Zookeeper 服务器之间或客户端与服务器之间心跳

一.虚拟机上安裝ubuntun 13.04 中文版 当然,你要是习惯看英文版,也可以直接安装英文版.老老实实从官网下载安装即可,安装系统不是本文的重点.这里只提一个注意事项:新手安装前,切记断网,因为安装过程中会联网下载,默认情况下连接的是美国的服务器,如果网速慢,这一步就可能会耗费几个小时.断网后,这里会自动跳过,等安装好,再设置服务器,选择国内的服务器更新语言包等其它软件. 二.安装 JDK 1.7.0_45 依照从ORACLE官网下载jdk-7u45-linux-x64.tar.gz,然后

1:下载安装包(我下载的0.94版本,如果考虑后期与hadoop兼容,需要找合适的版本) http://mirrors.hust.edu.cn/apache/hbase/hbase-0.94.20/hbase-0.94.20.tar.gz   安装jdk略   2:安装  上传至服务器,tar -zxvf解 压即可   3:修改配置文件  进入解压完成目录,cd bin  vi hbase-env.sh  修改JAVA_HOME为当前服务器jdk地址   vi hbase-site.xml   

1.下载 zk下载地址 http://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/ 我用的是http://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.3.6/ 2.下载至本地 然后sz 从本地上传到服务器 sz ls tar xvf zookeeper-3.3.6.tar.gz 3.解压后开始配置Zookeeper,进入到配置文件的目录 cd  zookeeper-3.3.6/

服务器节点规划: 节点1:192.168.0.103 节点2:192.168.0.104 节点3:192.168.0.105 安装zookeeper,将zookeeper上传到三个服务器,保存在/home/wanzixiang/app目录下,解压tar包tar -xzvf zookeeper-3.4.6.tar.gz cd zookeeper-3.4.6 cp conf/zoo_sample.cfg conf/zoo.cfg 节点1配置(192.168.0.103) tickTime=2000i

安装步骤 上传gz包 通过rz命令,将zookeeper-3.4.10.tar.gz安装包上传到/opt/soft/文件夹下. [root@bigdata111 soft]# rz [root@bigdata111 soft]# ls hadoop-2.8.4.tar.gz jdk-8u144-linux-x64.tar.gz zookeeper-3.4.10.tar.gz 解压包 通过tar命令解压zookeeper到/opt/module/目录下. [root@bigdata111 soft

这里的安装是在Linux系统上安装的 参考博客 : https://blog.csdn.net/cafebar123/article/details/73500014 https://blog.csdn.net/bingduanlbd/article/details/51874195 1.安装Java 首先要确认安装了Java,用命令确定安装了Java. java -version 如果没有安装Java,请自行百度安装配置Java 2.在Linux下创建一个用户给Hadoop使用 sudo ad