简介: hadoop的单机,伪分布式,分布式安装 hadoop2.8 集群 1 (伪分布式搭建 hadoop2.8 ha 集群搭建 hbase完整分布式集群搭建 hadoop完整集群遇到问题汇总 Hbase完成分布式安装步骤: 注意.hbase集群我是在前面的hadoop集群上继续搭建而来   (搭建好个节点后输入jps 各节点启动进程如下:) 主机 别名 安装软件 现有进程 服务地址 192.168.248.138 cdh1 hadoop2.8 jdk1.8 namenode DFSZKFai

1. 扩容目的 由于服务器数据盘存储空间不足导致系统无法正常的.为了彻底解决此问题,我们需要对服务器数据盘进行扩容. 2. 扩容步骤 2.1. 关机(如下图) ​ 2.2. 创建快照(如下图) ​ 2.3. 扩容(如下图) 2.3.1.扩容 ​ 2.3.2.停止docker,mysql ​ 点击"登陆"按钮(如上图),进入下图,输入服务器用户名,密码 ​ 登陆成功后,执行以下脚本 (1).停止docker服务 service docker stop (2).停止mysql服务 /opt

需求 1.归档日志刷得太快,经常把空间挤爆. 2.Oracle数据库表空间需要扩容 解决方案 1.先做重要数据备份 2.进行文件系统扩容 步骤 1. df -g 查找出/u01 对应的VG卷 VOLUME GROUP: # df -g Filesystem    GB blocks      Free %Used    Iused %Iused Mounted on . . /dev/fslv00       60.00      3.95   94%   550567    36% /u01

——本文非本人原创,为公司同事整理,发布至此以便查阅 一.入库前数据准备 1.入hbase详细要求及rowkey生成规则,参考文档“_入HBase库要求 20190104.docx”. 2.根据标准库中的数据,生成带有rowkey的视图. 参照159数据库hubei_std用户下的p_getRowKey1存储过程,生成该用户下 所有表带有rowkey的视图. 注:运行存储过程时,需传入医院编码和采集次数. 3.在进行正式入库前,先以医院编码在hbase中建立命名空间(hbase shell  进

转 :https://jingyan.baidu.com/article/25648fc18f22b29191fd0011.html 图片看不清可以看原文 LVM是逻辑盘卷管理(Logical Volume Manager)的简称,它是Linux环境下对磁盘分区进行管理的一种机制,LVM是建立在硬盘和分区之上的一个逻辑层,来提高磁盘分区管理的灵活性.LVM是在磁盘分区和文件系统之间添加的一个逻辑层,来为文件系统屏蔽下层磁盘分区布局,提供一个抽象的盘卷,在盘卷上建立文件系统.物理卷(physica

1 扩容前检查 cat /etc/fstab df -h 在扩容之前请确认VG的Free大小,以及文件和文件系统是否达到系统限制 2 系统识别硬盘 #echo "- - -" > /sys/class/scsi_host/hostNumbers/scan host在ls -lrt /sys/class/scsi_host/目录下查找 3 对于不同的存储查看聚合盘 EMC存储聚合路径软件Powerpath,聚合后的磁盘名称为emcpower #powermt config 链路聚合

1.首先获取要扩容的虚拟机的 UUID VBoxManage 改命令在C:\Program Files\Oracle\VirtualBox目录内,可先添加该目录到环境变量.C:\Users\yzkj-1008\VirtualBox VMs\CentOS65197>VBoxManage list hdds UUID: 297f254e-ada0-4ddd-be61-552226c3df58 Parent UUID: base State: created Type: normal (base) L

新扩容机器规划: hostname ip 进程 slave3 10.183.225.167 datanode,nodemange 1. 修改/etc/hosts 增加新扩容机器的hostname 10.183.225.167 slave3 2. 将/etc/hosts同步到其他服务器 scp /etc/hosts slave3:/etc/ 3. 将hadoop拷贝至slave3 scp -r /xxx/soft/hadoop-2.7.3 slave3:/xxx/soft/ 4. 将jsvc拷贝至

HBase是一个分布式的.面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”.就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力.HBase是Apache的Hadoop项目的子项目.HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于行的模式.

1.查看现有的分区大小 非LVM分区,目前磁盘大小为40G,根分区总容量为40G,(是自定义分区安装的) 2.关机增加磁盘大小至100G 如果你们是vmwaer虚拟软件安装的那如下入扩容: 3.查看磁盘扩容后状态 lsblk dh -TH 现在磁盘总大小为10G,根分区为40G 4.进行分区扩展磁盘,记住根分区起始位置和结束位置 5.删除根分区,切记不要保存, 6.创建分区,箭头位置为分区起始位置 7.保存退出并刷新根分区和分区 partprobe /dev/vda 提示没有命令 安装这个命令即

sqoop安装需要提前安装好sqoop依赖:hadoop .hive.hbase.zookeeper hadoop安装步骤请访问:http://www.cnblogs.com/xningge/articles/8433297.html hive安装步骤请访问:http://www.cnblogs.com/xningge/p/8433792.html hbase安装步骤请访问: zookeeper安装步骤请访问:http://www.cnblogs.com/xningge/p/8433618.ht

问题 hbase shell中建立建表出错 分析 org.apache.hadoop.hbase.PleaseHoldException: Master is initializing代表Master正在初始化中,出现这种错误的原因有很多,查看hbase web界面,发现如下提示: 看下Master的日志,发现一条WARN日志: 下午1点59:29.953分 WARN HMaster hbase:namespace,,1602737534746.41cb240b37c7ba2e67a1bff03

最近在研究数据挖掘相关的东西,在本地 Mac 环境搭建了一套伪分布式的 hadoop 开发环境,采用CDH发行版本,省时省心. 参考来源 How-to: Install CDH on Mac OSX 10.9 Mavericks 官网这篇文章有的地方格式不对,部分链接也失效,运行时还会有一些问题,所以这里重新记录如下. 安装 JDK JDK 1.8 下载地址 安装完成后路径应该是 /Library/Java/JavaVirtualMachines/jdk1.8.x_xx.jdk/Contents

本博文的主要内容有: .HBase定义 .HBase 的特点 .HBase 访问接口  .HBase 存储结构 .HBase设计 .HBase安装 .HBase shell操作  .输入 help 可以看到命令分组 .部分命令清单 .下边分组举例 Shell 的各种操作 .general操作    .ddl操作 .dml操作  .HBase 客户端     .Scan 对象提供了默认构造函数,一般使用默认构造函数        .Put 常用的方法有以下几个 .MapReduce 操作 HBas

使用的是 Mycat 提供的 dataMigrate 脚本进行对数据进行迁移和节点扩容,目前支持的 Mycat 是1.6 版本,由于 Mycat 是由 Java 编写的因此在做数据迁移及节点扩容时需要安装JDK等,还有相关的依赖数据库驱动程序等 准备工作 对扩容表的所有数据节点进行备份,以便迁移失败后的数据恢复 安装JDK 1.8 版本,并设置好环境变量 在 Mycat 的 lib 目录中,增加 MySql 的 JDBC 驱动包 在 Mycat 的环境中安装 MySql 的客户端程序 使用 ro

指导手册06:HBase安装部署 配置环境 1.参考文件: https://www.cnblogs.com/lzxlfly/p/7221890.html https://www.cnblogs.com/sixiweb/archive/2013/02/20/2919305.html 2.操作系统:centos 3.四台虚拟机:master :10.0.2.4, slave1:10.0.2.5,slave2:10.0.2.6,slave3:10.0.2.7 4.Hadoop系统己安装完成. 5.Ja

HBase Exists   可以使用exists命令验证表的存在.下面的示例演示了如何使用这个命令. hbase(main):024:0> exists 'emp' Table emp does exist 0 row(s) in 0.0750 seconds ================================================================== hbase(main):015:0> exists 'student' Table student

dd by zhj: 最近的工作需要跟HBase打交道,所以花时间把<HBase权威指南>粗略看了一遍,感觉不过瘾,又从网上找了几篇经典文章. 下面这篇就是很经典的文章,对HBase的架构进行了比较详细的描述.我自己也进行了简单的总结,简单的说,HBase使用的是LSM( Log-Structured Merge tree)--日志结构的合并树做为存储方式,这种存储方式是很多NoSQL数据库都在使用的,它的主要特点是: 1. 写:完全的内存操作,速度非常快.具体来说,是写入WAL(write

一 LVM扩容步骤 创建分区 创建PV 扩容VG 扩容LV 载大小 二 创建分区 使用分区工具(如fdisk等)创建LVM分区,却将分区标识为LVM的分区类型8e. [root@kauai ~]# fdisk -l …… Device Boot Start End Blocks Id System /dev/sdb7 4202496 6299647 1048576 8e Linux LVM /dev/sdb8 6301696 8398847 1048576 8e Linux LVM 注意:建议执

centos Linux下磁盘管理   parted,df ,du,fdisk,partprobe,mkfs.ext4,mount,/etc/fstab,fsck,e2fsck,mk2efs,tmpfs ,nr_inodes, LVM,传统方式扩容文件系统   第七节课 fdisk 设备名 ‘p’, ‘n’, ‘d’, ‘w’, ‘q’,‘l’. partprobe mount //查看当前挂载情况 mount -a //挂载/etc/fstab mkfs.ext4 /dev/sdb1 mkfs

目录 1. 问题描述 最近在使用Mahout里的推荐算法进行实验,由于业务需求,需要修改Mahout源码,将原本输出到HDFS上的结果输出到HBase中.由于Mahout发布的源码都是Maven项目,所以在对项目进行编译打包时遇到了一些问题,在此文章中进行记录总结. 2. Mahout源码下载 目前,Mahout最新版本已经更新到0.13,从基于Hadoop平台迁移到了Spark,从Mahout官网可以了解其发展历程和框架特性. 官网地址:http://mahout.apache.org/ Ma