HDFS就是用来存取数据的,那么当数据太多的时候存不下,我们必需扩充硬盘容量,或者换个更大的硬盘. 由于它是分布式文件系统,有两种扩充HDFS集群容量的方法:横向扩容和纵向扩容 横向扩容 横向扩容就是往集群添加一个节点:https://www.cnblogs.com/lyx666/p/12361906.html 纵向扩容 纵向扩容就是往节点增加一块硬盘:步骤如下 1.虚拟机添加一块20G的硬盘 2.查看添加虚拟机的硬盘 这台添加的第二块硬盘 所以硬盘文件是sdc 3.使用fdisk创建分区表 具

hadoop 升级到cdh5后,队列管理被取消,而是统一用资源池分配. hadoop2.0版本,Hadoop采用了平级队列组织方式,,管理员可将用户分到若干个扁平队列中,在每个队列中,可指定一个或几个队列管理员管理这些用户,比如杀死任意用户的作业,修改任意用户作业的优先级. 但这还不够,需要将资源划分到这几个队列中,并按照一定的策略完成资源分配,这就需要Hadoop作业调度器的支持. 总之,在Hadoop中,队列的组织是队列管理和资源分配的基础. 线上环境,设置成三个队列,分别是default,

一.横向扩容(参见:https://www.cnblogs.com/yangy1/p/12362565.html) 现在在此基础上再添加一个节点 1.克隆一台主机hdp03(克隆hdp02) 修改ip vim /etc/sysconfig/network-scripts/ifcfg-ens33 IPADDR=192.168.0.43 修改主机名及添加主机映射 vim /etc/hostname hdp03 vim /etc/hosts 192.168.0.43 hdp03 删除tmp下的目录文件

基础准备 在基础准备部分,主要是设置hadoop运行的系统环境 修改系统hostname(通过hostname和/etc/sysconfig/network进行修改) 修改hosts文件,将集群所有节点hosts配置进去(集群所有节点保持hosts文件统一) 设置NameNode(两台HA均需要)到DataNode的免密码登录(ssh-copy-id命令实现,可以免去cp *.pub文件后的权限修改) 修改主节点slave文件,添加新增节点的ip信息(集群重启时使用) 将hadoop的配置文件s

1.纵向扩容(添加硬盘) 1.1 添加硬盘 确定完成添加,运行 lsblk 查看硬盘使用情况 1.2 硬盘分区 fdisk /dev/sdb #对新硬盘sdb进行分区 m 帮助 n 添加一个分区 p 选择主分区 q 不保存退出 w 保存并退出 centerOS7的默认文件系统是xfs,centerOS6默认的文件系统是ext4 mkfs.xfs /dev/sdb1 #格式化并构建xfs文件系统 1.3 挂载 mount 分的区 被挂载的文件夹 注:umount /dev/sdb1 /sdb1 取

Hadoop 是一个开源框架,可编写和运行分布式应用处理大规模数据 Hadoop框架的核心是HDFS 和 MapReduce HDFS是分布式文件系统(存储) MapReduce是分布式数据处理模型和执行环境(计算) 作者:Doug Cutting Hadoop特点 扩容能力     能可靠地存储和处理千兆字节(PB)数据 成本低     可以通过普通机器组成的服务器群来分布以及处理数据,服务器群总计可达数千个节点 高效率(有待验证)     通过分发数据,hadoop可以在数据所在的节点上并行

前言 最近花了我几个月的业余时间,对EQueue做了一个重大的改造,消息持久化采用本地写文件的方式.到现在为止,总算完成了,所以第一时间写文章分享给大家这段时间我所积累的一些成果. EQueue开源地址:https://github.com/tangxuehua/equeue EQueue相关文档:http://www.cnblogs.com/netfocus/category/598000.html EQueue Nuget地址:http://www.nuget.org/packages/eq

Hadoop2.2.0 GA release 通用版本,Hadoop2.2.0就是一个通用版本 Hadoop2.2.0是从Hadoop1.1.0升级过来的,增加了以下特性: 1.增加了YARN: 2.HDFS增加了HA: 3.HDFS增加了Federation: 4.HDFS增加了快照 : 5.HDFS的读写使用了NFSv3: 6.Hadoop可以支持运行在Windows: 7.和Hadoop1的MR二进制兼容性 : 8.增加了一些和生态系统中其他产品的测试类. YARN是“Yet Anothe

Hadoop多用户作业调度器 hadoop 最初是为批处理作业设计的,当时只采用了一个简单的FIFO调度机制分配任务,随着hadoop的普及以及应用的用户越来越多,基于FIFO的单用户调度机制不能很好的利用集群资源(比如机器学习和数据挖掘对处理耗时要求不高但I/O密集,生产性作业队实时要求高,如Hive查询统计CPU密集,即不同的作业类型对资源要求不一致),多用户调度器势在必行.多用户调度主要有两种思路,一种是在物理集群上虚拟出多个hadoop集群,优点是实现简单,缺点是集群管理麻烦.调度资源浪

hadoop入门(一)   一.概述 1.什么是hadoop hadoop不仅是一个用于存储分布式文件系统,还是设计用来在有通用计算设备组成的大型集群上执行的分布式应用的基础框架. hadoop框架最核心的设计是mapreduce和HDFS 1.2为什么要选择hadoop 1)扩容:能可靠的处理和存储PB级数据 2)成本:可以通过普通机器组成服务器群来分发和处理数据,这些服务器总计可大上千节点 3)高效:通过分发数据,hadoop可以并行处理这些数据,使它们特别快速 4)可靠:hadoop可以通

在Yarn框架中,调度器是一块很重要的内容.有了合适的调度规则,就可以保证多个应用可以在同一时间有条不紊的工作.最原始的调度规则就是FIFO,即按照用户提交任务的时间来决定哪个任务先执行,但是这样很可能一个大任务独占资源,其他的资源需要不断的等待.也可能一堆小任务占用资源,大任务一直无法得到适当的资源,造成饥饿.所以FIFO虽然很简单,但是并不能满足我们的需求. yarn默认还提供了两种调度规则,capacity和fair share.本篇就主要介绍下capacity调度器: 1.什么是capa

有一段时间没有更新了.接着上节继续吧. Queue除了前面介绍的实现外,还有一种双向的Queue实现Deque.这种队列允许在队列头和尾部进行入队出队操作,因此在功能上比Queue显然要更复杂.下图描述的是Deque的完整体系图.需要说明的是LinkedList也已经加入了Deque的一部分(LinkedList是从jdk1.2 开始就存在数据结构). Deque在Queue的基础上增加了更多的操作方法. 从上图可以看到,Deque不仅具有FIFO的Queue实现,也有FILO的实现,也就是不仅

阻塞队列(Blocking Queue) 一.队列的定义 说的阻塞队列,就先了解下什么是队列,队列也是一种特殊的线性表结构,在线性表的基础上加了一条限制:那就是一端入队列,一端出队列,且需要遵循FIFO(先进先出)的原则 队列的入口一端叫做队尾(rear),出口一端叫做队头(front),最简单的比如就是排队买火车票,新加入的排队者必须在队尾插入,而下一个排队结束的永远的队伍的第一个人 如下图示: 二.阻塞队列的定义 了解了队列,就很好理解什么是阻塞队列,既然是阻塞的,那就是需要等待,而队列的操

前言 前段时间针对EQueue的完善终于告一段落了,实在值得庆祝,自己的付出和坚持总算有了成果.这次新版本主要为EQueue实现了集群功能,基本实现了Broker的高可用.另外还增加了很多实用的功能,对性能也做了很多优化.总之,EQueue越来越成熟了. EQueue最新版本信息 Nuget:https://www.nuget.org/packages/EQueue github:https://github.com/tangxuehua/equeue 版本发布说明 为Broker支持集群部署的

在上文<.Net中的并行编程-2.ConcurrentQueue的实现与分析> 中解释了无锁的相关概念,无独有偶BCL提供的ConcurrentQueue也是基于原子操作实现, 由于ConcurrentQueue的代码较多所以本文主要分析几个常用操作: 入队(EnQueue) .出队(TryDequeue) .是否为空(IsEmpty).获取队列内元素数量(Count). 一.ConcurrentQueue内部结构: 1.实现原理 众所周知,在普通的非线程安全队列有两种实现方式: 1.使用数组

ScheduledThreadPoolExecutor 该类继承自ThreadPoolExecutor,增加了定时执行线程和延迟启动的功能,这两个功能是通过延时队列DelayedWorkQueue辅助实现的. 线程池里面的线程需要从队列里面获取任务,任务根据延时时长是有顺序的,线程池的线一直获取延时最短的任务,也就是最小二叉堆中的堆顶元素,这个时候堆顶元素成为各个线程争夺的资源, 在获取堆顶元素的时候加锁(ReentrabtLock,可重入,独占锁),这样获取到锁的线程开始获取堆顶元素,其他线程

PriorityQueue是一种什么样的容器呢?看过前面的几个jdk容器分析的话,看到Queue这个单词你一定会,哦~这是一种队列.是的,PriorityQueue是一种队列,但是它又是一种什么样的队列呢?它具有着什么样的特点呢?它的底层实现方式又是怎么样的呢?我们一起来看一下.      PriorityQueue其实是一个优先队列,什么是优先队列呢?这和我们前面讲的先进先出(First In First Out )的队列的区别在于,优先队列每次出队的元素都是优先级最高的元素.那么怎么确定哪一

EQueue 2.3.2版本发布(支持高可用) 前言 前段时间针对EQueue的完善终于告一段落了,实在值得庆祝,自己的付出和坚持总算有了成果.这次新版本主要为EQueue实现了集群功能,基本实现了Broker的高可用.另外还增加了很多实用的功能,对性能也做了很多优化.总之,EQueue越来越成熟了. EQueue最新版本信息 Nuget:https://www.nuget.org/packages/EQueue github:https://github.com/tangxuehua/eque

部署架构 消息存储 存储结构 MetaQ的存储结构是一种物理队列+逻辑队列的结构.如下图所示: Producer生产消息,根据消息的topic选择topic对应某一个分区,然后发送到这个分区对应的Broker:Consumer根据订阅的topic选择去topic的某一个分区拉取消息. MetaQ将消息存储在本地文件中,每个文件最大大小为1G,如果写入新的消息时,超过当前文件大小,则会自动新建一个文件.文件名称为起始字节大小.以起始字节大小命名并排序这些文件是有诸多好处的,当消费者要抓取某个起始偏

除特别注明外,本站所有文章均为原创,转载请注明地址 一.优先队列的应用 优先队列在程序开发中屡见不鲜,比如操作系统在进行进程调度时一种可行的算法是使用优先队列,当一个新的进程被fork()出来后,首先将它放到队列的最后,而操作系统内部的Scheduler负责不断地从这个优先队列中取出优先级较高的进程执行:爬虫系统在执行时往往也需要从一个优先级队列中循环取出高优先级任务并进行抓取.可以想见,如果类似这样的任务不适用优先级进行划分的话,系统必会出现故障,例如操作系统中低优先级进程持续占用资源而高优先

一.双向队列Deque   Queue除了前面介绍的实现外,还有一种双向的Queue实现Deque.这种队列允许在队列头和尾部进行入队出队操作,因此在功能上比Queue显然要更复杂.下图描述的是Deque的完整体系图.需要说明的是LinkedList也已经加入了Deque的一部分(LinkedList是从jdk1.2 开始就存在数据结构). Deque在Queue的基础上增加了更多的操作方法. 从上图可以看到,Deque不仅具有FIFO的Queue实现,也有FILO的实现,也就是不仅可以实现队列