1.环境说明 操作系统 CentOS Linux release 7.4.1708 (Core) Ambari 2.6.x HDP 2.6.3.0 Spark 2.x Phoenix 4.10.0-HBase-1.2 2.条件 HBase 安装完成 Phoenix 已经启用,Ambari界面如下所示: Spark 2安装完成 3.Spark2 与 Phoenix整合 Phoenix 官网整合教程: http://phoenix.apache.org/phoenix_spark.html 步骤:

1.Ambari安装 Ambari & HDP(Hortonworks Data Platform) ***************************************************************************************************** Base: 0.操作系统原则与对应的HDP对应的版本.rhel6 or rhel7 1.操作系统原则完全安装(Desktop),所有的包都安装. 2.关闭防火墙,IPV6等服务(海涛Python

简介: 在我的CDH5.11集群中,默认安装的spark是1.6版本,这里需要将其升级为spark2.x版本.经查阅官方文档,发现spark1.6和2.x是可以并行安装的,也就是说可以不用删除默认的1.6版本,可以直接安装2.x版本,它们各自用的端口也是不一样的.我尝试了安装spark2.0版本和spark2.1版本,均告成功.这里做一下安装spark2.1版本的步骤记录.   首先贴出一些官方的网址,有兴趣的可以去看看: Cloudera发布Apache Spark 2概述(可以在这里面找到安

Apache Ambari是对Hadoop进行监控.管理和生命周期管理的基于网页的开源项目.它也是一个为Hortonworks数据平台选择管理组建的项目.Ambari支持管理的服务有: Apache HBaseApache HCatalogApache Hadoop HDFSApache HiveApache Hadoop MapReduceApache OozieApache PigApache SqoopApache TempletonApache Zookeeper ambari可以使安装

优秀博客 <Ambari--大数据平台的搭建利器> Ambari安装前准备 (一)机器准备 192.168.80.144   ambari01 (部署Ambari-server和Mirror server) (分配1G,我这里只是体验过程,当然你可以分配更多或更小) 192.168.80.145   ambari02 (部署Agent) (分配1G,我这里只是体验过程,当然你可以分配更多或更小) 192.168.80.146   ambari03 (部署Agent) (分配1G,我这里只是体验

前期博客 Ambari安装之部署单节点集群 其实,按照这个步骤是一样的.只是按照好3个节点后,再做下HA即可. 部署3个节点的HA分布式集群 (1)添加机器 和添加服务的操作类似,如下图 之后的添加ambari03.ambari04操作就和部署ambari02类似,可以参照前面的步骤.这里不多赘述. Ambari安装之部署单节点集群 -----BEGIN RSA PRIVATE KEY----- MIIEogIBAAKCAQEAvLAEPDRhnQUq4+6IRYTF6YKmMfvfGKKbkg

ambari 1.2.4 下载地址:http://www.apache.org/dist/incubator/ambari/ambari-1.2.4/ambari-1.2.4-incubating.tar.gz 官方手册:http://incubator.apache.org/ambari/1.2.4/installing-hadoop-using-ambari/content/index.html 安装过程 一.准备 1.安装包 2.集群中ambari-serveer(管理节点)到客户端配置无

不多说,直接上干货! 写在前面的话 (1) 最近一段时间,因担任我团队实验室的大数据环境集群真实物理机器工作,至此,本人秉持负责.认真和细心的态度,先分别在虚拟机上模拟搭建ambari(基于CentOS6.5版本)和cloudermanager(基于CentOS6.5或Ubuntu14.04版本). (2)  大数据集群范围包括3节点和4节点.本人都尝试过. (3)  安装搭建包括离线和在线.本人都尝试过 (4)  版本包括自定义指定和官方最新版本搭建.本人都尝试过. (5) 大数据集群节点的增

ambari 1.2.4 下载地址:http://www.apache.org/dist/incubator/ambari/ambari-1.2.4/ambari-1.2.4-incubating.tar.gz 官方手册:http://incubator.apache.org/ambari/1.2.4/installing-hadoop-using-ambari/content/index.html 安装过程 一.准备 1.安装包 2.集群中ambari-serveer(管理节点)到客户端配置无

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1. Storm集群组件 Storm集群中包含两

以下为windows2003的安装操作步骤,由于安装操作步骤较多,安装可能需要一定的实际安装经验.安装时请参照此文档一步步完成安装. 一.首先准备好Windows2003安装光盘CD1,将CD1光盘放入需要安装的电脑光驱中.开机时注意画面提示选择引导菜单(一般为ESC或F12),跟据提示选择光盘引导方式启动. 二.正常使用光驱引导后会进入Windows2003的安装引导画面. 2.1(如有请按任意键从光盘启动的提示,则需要随便按一下键盘上的按键才能从光驱引导.) 2.2等待一会儿后,电脑会显示2

注释:这里以Linux 红帽商业版为例~~~~~~~纯手打啊 Apache安装配置步骤 准备:关闭其他虚拟设备 #/etc/init.d/libvirtd stop #/etc/init.d/xend stop #chkconfig libvirtd off #chkconfig xend off 一.安装步骤 1.把光驱载入到系统当中: 2.安装 二.配置步骤 1.配置IP地址: 2.进入/etc/httpd/conf目录,使用cp命令备份配置文件(httpd.conf),并用vim打开 3.

NodeJS.NPM安装配置步骤(windows版本)  :http://xiaoyaojones.blog.163.com/blog/static/28370125201351501113581/ http://yeoman.io/

ambari是apache基金会的开源项目,它的优势在于巧妙溶合已有的开源软件,提供集群自动化安装.中心化管理.集群监控.报警等功能.据Hortonwork官方资料介绍,不同的HDP版本,对ambari的版本也有不同的要求(如下图,来源于hortonwork官网),在安装HDP2.4的过程中,选择的ambari版本为2.2.2.0 安装过程: 软件包下载   (ambari-2.2.2.0-centos7.tar.gz) 本地源制作   (ambari.repo) ambari安装 数据库配置

Centos下安装nginx rpm包                                                                                                                            www.169it.com 1 在nginx官方网站下载一个rpm包,下载地址是:http://nginx.org/en/download.html wget http://nginx.org/packages/c

给hadoop用户sudo权限 hadoop ALL=(ALL) NOPASSWD:ALL 建立SSH互信,参考Hadoop HA的搭建中的互信建立 建立相应的下载脚本down.sh nohup wget -c http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.0/ambari-2.2.1.0-centos6.tar.gz > 1.log 2>&1 & nohup wget -c http

CentOS7/RHEL7安装Redis步骤详解 CentOS7/RHEL7安装Redis还是头一次测试安装了,因为centos7升级之后与centos6有比较大的区别了,下面我们就一起来看看CentOS7/RHEL7安装Redis步骤详解 方法一:使用命令安装(前提是已经安装了EPEL). 安装redis: yum -y install redis 启动/停止/重启 Redis启动服务:1systemctl start redis.service停止服务: systemctl stop red

本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以"注意事项"的形式给出. 1. Storm集群组件 Storm集群中包含两类节点:主控节点(Master Node)和工作节点(Work Node).其分别对应的角色如下: 主控节点(Master Node)上运行一个被称为Nimbus的后台程序,它负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态.Nimbus的作用类

部署本地库(镜像服务器) (1)下载HortWorks官网上的3个库到本地(也可以在线下载,但是速度会很慢) 我们先把hortworks官网上需要下载的3个库下载到本地(这个还是需要很长时间的,当然你也可以在线下载,通过wget但是由于文件比较大,所以下载会非常慢)然后把他上传到我们的镜像服务器上. 一个是 Ambari Repositories    两个是 HDP 2.4 Repositories http://docs.hortonworks.com/index.html http://d

前期博客  Ambari安装之部署本地库(镜像服务器)(二) 安装并配置Ambari-server (1)检查仓库是否可用 [hadoop@ambari01 yum.repos.d]$ pwd /etc/yum.repos.d [hadoop@ambari01 yum.repos.d]$ yum repolist Loaded plugins: fastestmirror, refresh-packagekit, security Loading mirror speeds from cache

前期博客 大数据领域两大最主流集群管理工具Ambari和Cloudera Manger Ambari架构原理 Ambari安装之Ambari安装前准备(CentOS6.5)(一) Ambari安装之部署本地库(镜像服务器)(二) 部署hdp单节点集群 (1)部署Agent 1) 注册并安装agent http://192.168.80.144:8080/views/ADMIN_VIEW/2.2.1.0/INSTANCE/#/ 2)为集群取个名字,我这里,就直接取为hdpCluster,然后点击n