场景 最近hadoop集群新加了一个节点N,通过Ambari管理 一切正常. 过了两天发现,虽然集群每天要进几个G的数据(共8个节点),但节点N占用空间丝毫没有变化,显然没有进数据啊 日志 查看该节点日志,没有任何异常. 缩小问题范围 为了验证节点N没有进数据,我登录到该节点,并执行hdfs的put操作上传一个本地文件,在web页面中查看该文件的数据块分布. 正常情况,hdfs上传文件的时候会先存入本地节点然后存入远程机架. 结果发现并没有任何块分布到该节点上,确认了现在数据无法存入该节点. 查

hdfs管理界面:Summary部分,Configured Capacity: 0 B.正常应该不是0,而是显示系统分配给hdfs的剩余容量. 原因:NameNode的clusterID和DataNode的不一致,所以未能启动.之所以会这样,是因为我们执行了多次bin/hdfs namenode -format命令,导致NameNode的clusterID改变而DataNode却没变.有时也可能是因为data和name文件夹的权限问题. 网上解决步骤: 1 停止所有进程:sbin/stop-al

前一天运行hadoop一切安好,今天重新运行出现BUG.下面对遇到的bug.产生原因以及解决方法进行一下简单总结记录. [bug1]用ssh localhost免密登录时提示要输入密码. 原因分析:之前配置好了ssh免密登录并且ssh localhost以及ssh Slave1.ssh Master.ssh Slave2等都可以成功实现免密登录,后来突然想起前一天晚上用scp在节点之间传输文件的时候提示没有相关权限从而对节点的/home目录做过权限更改,而.ssh文件夹就在/home/hadoo

很奇怪的问题,程序在eclipse上跑没问题: 这就代码:FileSystem fs = FileSystem.get(URI.create(hdfs_file),  conf , "user"); 在centos上跑就出错了 | PriviledgedActionException as: (auth:SIMPLE) cause:java.io.IOException: No FileSystem for scheme: hdfsINFO | jvm 1 | 2013/12/25 1

1 HDFS均衡操作原理 HDFS默认的块的副本存放策略是在发起请求的客户端存放一个副本,如果这个客户端在集群以外,那就选择一个不是太忙,存储不是太满的节点来存放,第二个副本放在与第一个副本相同的机架但是不同节点上,第三个放在与第二个和第一个副本不同的机架上,原则是尽量避免在相同的机架上放太多的副本. 随着时间的推移,在各个DataNode节点上的数据块会分布的越来越不均衡.如果集群不均衡的程度很严重,会降低Mapreduce的使用性能,导致部分DataNode节点相对而言变得更加繁忙.所以,应

目录: 一.hadoop2.2.0.zookeeper3.4.5.hbase0.96.2.hive0.13.1都是什么? 二.这些软件在哪里下载? 三.如何安装 1.安装JDK 2.用parallels克隆3台机器 3.安装Zookeeper-3.4.5 4.安装hadoop2.2.0 5.启动zookeeper 6.启动JournalNode集群 7.Hbase-0.96.2-hadoop2(启动双HMaster的配置,m1是主HMaster,m2是从HMaster) 8.在ubuntu12.

前言 本人呕心沥血所写,经过好一段时间反复锤炼和整理修改.感谢所参考的博友们!同时,欢迎前来查阅赏脸的博友们收藏和转载,附上本人的链接.http://www.cnblogs.com/zlslch/p/5847528.html 关于几个疑问和几处心得! a.用NAT,还是桥接,还是only-host模式? 答: hostonly.桥接和NAT b.用static的ip,还是dhcp的? 答:static c.别认为快照和克隆不重要,小技巧,比别人灵活用,会很节省时间和大大减少错误. d.重用起来脚

本人呕心沥血所写,经过好一段时间反复锤炼和整理修改.感谢所参考的博友们!同时,欢迎前来查阅赏脸的博友们收藏和转载,附上本人的链接.http://www.cnblogs.com/zlslch/p/5846091.html 附链接如下: http://my.oschina.net/amui/blog/610288 http://my.oschina.net/amui/blog/610329 http://blog.csdn.net/u010270403/article/details/5144667

前言:       Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上:并且它提供高吞吐量(high throughput)来訪问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序.HDFS放宽了(relax)POSIX的要求,能够以流的形式訪问(streaming access)文件系统中的数据. Hadoop的框架最核心的

1.环境配置: -1.core-site.xml文件 <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://bigdata-study-104:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/m

1.概述 Hadoop3已经发布很久了,迭代集成的一些新特性也是很有用的.截止本篇博客书写为止,Hadoop发布了3.2.0.接下来,笔者就为大家分享一下在使用Hadoop3中遇到到一些问题,以及解决方法. 2.内容 2.1 基础软件包 在使用这些组件时,我们需要做一些准备工作,内容如下: Hadoop-3.2.0安装包(建议Hadoop-3.2.0源代码也一起下载,后面步骤需要用到) Maven-3.6.1(编译Hadoop-3.2.0源代码) ProtoBuf-2.5.0(编译Hadoop-

Apache Hadoop 2.9.2 的HDFS High Available 模式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 我们知道,当NameNode进程挂掉后,可以通过SecondName进行补救,我们可以快速进行恢复操作.但是其效率极低,可能等你启动集群成功后,半小时就过去了,会严重影响业务!这个时候我们就需要对NameNode做高可用.我们可以通过双NameNode消除单点故障. 一.HA概述 1>.所谓High Available,简称HA,即高可用(

实验环境 主机名称 IP地址 角色 统一安装目录 统一安装用户 sht-sgmhadoopnn-01 172.16.101.55 namenode,resourcemanager /usr/local/hadoop(软连接) /usr/local/hadoop-2.7.4 /usr/local/zookeeper(软连接) /usr/local/zookeeper-3.4.9 root sht-sgmhadoopnn-02 172.16.101.56 namenode,resourcemanag

Hadoop集群-HDFS集群中大数据运维常用的命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客会简单涉及到滚动编辑,融合镜像文件,目录的空间配额等运维操作简介.话不多少,直接上命令便于以后查看.   一.查看hadf的帮助信息 [yinzhengjie@s101 ~]$ hdfs Usage: hdfs [--config confdir] [--loglevel loglevel] COMMAND where COMMAND is one of: dfs

HDFS Using QJM HA使用的是分布式的日志管理方式 一:概述 1.背景 如果namenode出现问题,整个HDFS集群将不能使用. 是不是可以有两个namenode呢 一个为对外服务->active 一个处于待机->standby 他们的之间共享的元数据叫 nameservice 2.HDFS HA的几大中重点 1)保证两个namenode里面的内存中存储的文件的元数据同步 ->namenode启动时,会读镜像文件 2)变化的记录信息同步 3)日志文件的安全性 ->分布

目录 1.HDFS是什么? 2.HDFS设计基础与目标 3.HDFS体系结构 3.1 NameNode(NN)3.2 DataNode(DN)3.3 SecondaryNameNode(SNN)3.4 块(Block)的概念3.5 文件安全 3.读取数据流程 4.HDFS的可靠性 4.1 冗余副本策略4.2 机架策略4.3 心跳策略4.4 安全模式4.5 校验和4.6 回收站4.7 元数据保护4.8 快照机制 5.HDFS基础架构以及工作原理 6.HDFS读操作 7.HDFS写操作 8.HDFS

原文地址  http://blog.sina.com.cn/s/blog_7060fb5a0101cson.html Hadoop HDFS分布式环境搭建 最近选择给大家介绍Hadoop HDFS系统,因此研究了一下如何在Linux 下配置一个HDFS Clust.小记一下,以备将来进一步研究和记忆. HDFS简介 全称 Hadoop Distributed File System, Hadoop分布式文件系统. 根据Google的GFS论文,由Doug Cutting使用JAVA开发的开源项目

原因:Configured Capacity也就是datanode 没用分配容量 [root@dev9106 bin]# ./hadoop dfsadmin -report Configured Capacity: 0 (0 KB) Present Capacity: 0 (0 KB) DFS Remaining: 0 (0 KB) DFS Used: 0 (0 KB) DFS Used%: ?% Under replicated blocks: 0 Blocks with corrupt re

前言 本人呕心沥血所写,经过好一段时间反复锤炼和整理修改.感谢所参考的博友们!同时,欢迎前来查阅赏脸的博友们收藏和转载,附上本人的链接.http://www.cnblogs.com/zlslch/p/5847528.html 关于几个疑问和几处心得! a.用NAT,还是桥接,还是only-host模式? 答: hostonly.桥接和NAT b.用static的ip,还是dhcp的? 答:static c.别认为快照和克隆不重要,小技巧,比别人灵活用,会很节省时间和大大减少错误. d.重用起来脚

下载hadoop压缩包设置hadoop环境变量设置hdfs环境变量设置yarn环境变量设置mapreduce环境变量修改hadoop配置设置core-site.xml设置hdfs-site.xml设置yarn-site.xml设置mapred-site.xml设置slave文件分发配置启动hdfs格式化namenode启动hdfs检查hdfs启动情况启动yarn测试mr任务hadoop本地库hdfs yarn和mapreduce参数 下载hadoop压缩包 去hadoop官网下载hadoop-2