不多说,直接上干货! 写在前面的话 我这里,四个节点的bigdata集群.分别为cmbigdata1.cmbigdata2.cmbigdata3和cmbigdata4. https://i.cnblogs.com/posts?categoryid=916378 CentOS6.5下Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐) 其中,cmbigdata1即做server,又做agent. cmbigdata2.cmbigdata3和cmbigdata4都是做agent

0.绪论 之前完全没有接触过大数据相关的东西,都是书上啊,媒体上各种吹嘘啊,我对大数据,集群啊,分布式计算等等概念真是高山仰止,充满了仰望之情,觉得这些东西是这样的: 当我搭建的过程中,发现这些东西是这样的: 对于初学者来说,我认为缺点如下: 1.需要控制,配置的东西太多,并且配置对应并不是很清晰(以后优化集群是否会有很高含金量?) 2.整个集群,我觉的从硬件到软件整体来说还是稳定性有待提高,尤其CDH 集群这块一会这个主机失去联系,一会NameNode挂,一会monitor挂,整个使用过程就是

hbase 单机安装部署及phoneix 单机安装 Hbase 下载 (需先配置jdk) https://www.apache.org/dyn/closer.lua/hbase/2.0.1/hbase-2.0.1-bin.tar.gz 解压安装 tar -xzvf hbase--bin.tar.gz mv hbase-2.0.0.1-ibin hbase mv hbase-2.0.0.1 hbase mv hbase /opt 修改配置文件 cd /opt/hbase/conf/ vi hbas

1 软硬件准备 1.1 准备三个节点 序号 主机名 内存 CPU IP地址 角色 1 cdh1 8G 8核心 192.168.5.78 cloudera-scm-server,mysql 2 cdh2     4G 8核心 192.168.5.79 cloudera-scm-agent 3 cdh2 4G 8核心 192.168.5.80 cloudera-scm-agent 1.2 软件版本信息 OS:RedHat EL 6.5 CDH: 5.6.0 Java:1.7 MySQL:5.6  

大家都知道,Apache Hadoop的配置很繁琐,而且很零散,为此Cloudera公司提供了Clouder Manager工具,而且还封装了Apache Hadoop,flume,spark,hive,hbase等大数据产品形成自己特色的CDH产品,再使用CM进行安装,很大程度上方便了集群的搭建,并提供了集群的监控功能. 一.环境: 1.三台VMware虚拟机(一个做为主节点,两个做为从节点) hserver1n(主节点) hserver2n(从节点) hserver3n(从节点) CM Se

在线安装 sudo yum install cloudera-manager-daemons cloudera-manager-server 离线安装 资源下载地址 https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/ 上次下面资源包到cdh1节点 cloudera-manager-server--.el7.x86_64.rpm cloudera-manager-server-db---.el7.x86_64.rpm cl

安装mysql,并且创建相关的表(只需要在chd1上面安装而且需要root权限)1.1 查看Centos自带mysql是否已经安装 yum list installed | grep mysql 卸载自带mariadb # rpm -qa | grep mariadb mariadb-libs--.el7_0.x86_64 # rpm -e --nodeps mariadb-libs--.el7_0.x86_64 如果系统的mysql已经安装,卸载 yum -y remove mysql-lib

转载请注明出处:http://www.cnblogs.com/thinkCoding/p/3567408.html 系统环境 操作系统:CentOS 6.5 Cloudera Manager 版本:4.8.1 CDH版本:4.5.0 各机器准备工作: yum -y groupinstall "Development tools" yum -y install wget  Cloudera-manager压缩包地址:    http://archive.cloudera.com/cm4/

yum 安装cm 参考官网 主机名 /etc/hosts hostnamectl set-hostname foo-1.data.com hostnamectl set-hostname foo-2.data.com hostnamectl set-hostname foo-2.data.com hostnamectl set-hostname cdh-1.data.com hostnamectl set-hostname cdh-2.data.com cat >> /etc/hosts &l

在安装CDH的时候出现错误提示: 安装失败. 无法接收 Agent 发出的检测信号. 日志提示错误: start >> raise socket.error(msg) >>error: No socket could be created on ('node6', 9000) -- [Errno 99] Cannot assign requested address on ('node6', 9000) -- [Errno 99] Cannot assign requested a

LZO好处.可以对hive这种快文件进行压缩,然后做索引达到速度大幅度改进索引 先是按照这个教程(网上很多可以找找看看)  https://blog.csdn.net/Post_Yuan/article/details/54287325 安装完CDH,很多人会发现 跑的时候class no found,这时候只需要把GPLEXTRAS下的lib 拷贝到你的hadoop下就可以了,不用重启集群因为是jar路径,找得到就好了

1 先拷贝tar包到目录底下(tar 包解压 tar zxvf) 2 : 1.使用课程提供的hadoop-2.5.0-cdh5.3.6.tar.gz,上传到虚拟机的/usr/local目录下.(http://archive.cloudera.com/cdh5/cdh/5/)2.将hadoop包进行解压缩:tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz3.对hadoop目录进行重命名:mv hadoop-2.5.0-cdh5.3.6 hadoop4.配置hadoop相

1. Clouder Manger页面的配置 访问主节点IP:(cdh1)192.168.80.81:7180 默认用户名和密码:admin,admin 选择一个版本 选择集群的服务器(agent),一般全部包含进去 进入parcel的选择页面,选择和server相对应的版本. 下面页面进行资源配置,之前我下载过了,但是我进到这一步的时候理论上应该是已下载的页面,但是始终没有到达这个效果,每次都从clouder网站中下载.(如果有高手遇到过类似的问题,还请指教.)假如真的识别不到自己下载的par

在线安装 sudo yum install cloudera-manager-agent cloudera-manager-daemons 离线安装 上传三个server的资源包到cdh1节点上(所有节点都要安装) cloudera-manager-daemons-6.1.1-853290.el7.x86_64.rpm cloudera-manager-agent-6.1.1-853290.el7.x86_64.rpm 安装服务 注意:安装这两个资源大多数有可能需要安装一些依赖包,比如opens

集群时间同步(主节点) 1. 查看是否安装ntp服务,如果没有安装 rpm -qa |grep ntpd查看命令 yum install ntp安装命令 2. 修改配置 vi /etc/ntp.conf 去掉这个注释,将地址改成网段地址 restrict 10.228.86.252 mask 255.255.255.0 nomodify notrap 注释掉这几个 #server .centos.pool.ntp.org iburst #server .centos.pool.ntp.org i

1. 配置网络-ip地址设置静态 vi /etc/sysconfig/network-scripts/ifcfg-eth33 增加如下配置 ONBOOT=yes BOOTPROTO=static IPADDR=10.224.86.101 GATEWAY=10.224.86.1 NETMASK=255.255.255.0 DNS1=128.128.128.128 重启网卡 systemctl restart network 查看是否可以联网 ping baidu.com 2. 修改IP和主机名称的

三台物理机或者虚拟机. cdh1,cdh2,cdh3. 内存要求大于8GB,cdh1的物理磁盘要求多余50G. 每台虚拟机安装centos 7 系统.

tar zxvf 解压包 配置环境变量 export HIVE_HOME=/usr/local/soft/hiveexport PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin source生效 yum install -y mysql-server service mysqld start (启动mysql 服务) chkconfig mysqld on yum install -y mysq

1> 删除Agent节点的UUID # rm -rf /opt/cm-5.4.7/lib/cloudera-scm-agent/* 2>  清空主节点CM数据库 进入主节点的Mysql数据库,然后drop database cm; 3> 删除Agent节点namenode和datanode节点信息 # rm -rf /opt/dfs/nn/* # rm -rf /opt/dfs/dn/* 4> 在主节点上重新初始化CM数据库 # /opt/cm-5.4.7/share/cmf/sc

使用yum安装CDH Hadoop集群 2013.04.06 Update: 2014.07.21 添加 lzo 的安装 2014.05.20 修改cdh4为cdh5进行安装. 2014.10.22 添加安装 cdh5.2 注意事项. 1.cdh5.2 发布了,其中 YARN 的一些配置参数做了修改,需要特别注意. 2.Hive 的元数据如果使用 PostgreSql9.X,需要设置 standard_conforming_strings 为 off 环境 CentOS 6.4 x86_64 C

1. 安装准备 系统:Centos 6 Cloudera Manager分配如下: 安装版本:CDH-5.8.0 所需安装文件 CDH相关 CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1 manifest.json Cloudera Manager相关 cloudera-manager-el6-cm5.13.0_x86_64.tar.gz 下载地址http://archive.clo