0x01 ntp安装 检查时间服务器是否安装 # rpm -q ntp ntp-4.2.4p8-2.el6.x86_64 // 这表示已安装了,如果没有安装,这是空白. //如果没有安装,我们按照下 # yum install ntp 按上面的安装方式在内网每台服务器上都安装好NTP软件包. 完成后,都需要配置NTP服务为自启动 # chkconfig ntpd on # chkconfig --list ntpd ntpd 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭

Hadoop 手动安装指南 cheungmine 2013-4 本文用于指导在Windows7,VMWare上安装Ubuntu, Java, Hadoop, HBase实验环境. 本指南用于实验的软件(版本)为: 1)        HOST OS: Windows7x64bits Professional 2)        VMware workstation: version:8.0.2 build-591240 3)        Guest (VM) OS: Ubuntu64bit S

描述:鉴于本地电脑内存限制,采用三台虚机安装此环境. 主机名,分别为master.slave1.slave2. zookeeper分别安装这三台机器上,master和slave1做主从备份, slave1和slave2是DataNode, slave1充当了master和slave的角色. 集群规划: 主机名 IP 安装的软件 运行的进程 master 192.168.1.201 jdk.hadoop.zookeeper NameNode.ResourceManager.DFSZKFailove

配置 hadoop+yarn+hbase+storm+kafka+spark+zookeeper 高可用集群,同时安装相关组建:JDK,MySQL,Hive,Flume 文章目录 环境介绍 节点介绍 集群介绍 软件版本介绍 前期准备 相关配置 新建用户 centos 添加sudo权限 更改用户名 主机名与IP映射 显示当前文件的绝对路径 ssh免密登录 关闭防火墙 两个批处理脚本 批分发指令脚本(xcall.sh) 批同步脚本(xsync.sh):类似于 scp 指令 集群环境搭建 安装JDK

笔记本不知道怎么了,总是时间对不上 硬件时间也设置不了,只能时间同步了 手动时间同步 ntpdate即可,ntp服务器在这里用这两个就好了 cn.ntp.org.cn 或 edu.ntp.org.cn sudo ntpdate cn.ntp.org.cn 发现时间总是差了8小时,设置一下时区 tzselect 然而设置了也没用... 总不能手动改吧 自动时间同步 首先设置一下时区,然后打开ntp同步服务 timedatectl list-timezones timedatectl set-tim

Linux 时间同步 03 ntpdate时间同步 目录 Linux 时间同步 03 ntpdate时间同步 安装ntpdate 修改/etc/sysconfig/ntpdate 使用ntpdate手动时间同步 设置定期同步,在crontab中添加 格式 ntpdate同步时间,会造成时间的跳跃,对一些依赖时间的程序和服务会造成影响.比 如sleep,timer等.而且,ntpd服务可以在修正时间的同时,修正cpu tick. 理想的做法为,在开机的时候,使用ntpdate强制同步时间,在其他时

Hive官方文档:Home-UserDocumentation Hive DDL官方文档:LanguageManual DDL 参考文章:Hive 用户指南 注意:各个语句的版本时间,有的是在 hive-1.2.1 之后才有的,这些语句我们在hive-1.2.1中是不能使用的. 注意:本文写的都是常用的知识点,更多细节请参考官网. 常用命令 select current_database(); # 当前使用哪个库 show databases; # 显示所有库名 show tables; # 显

HBaes介绍 HBase是什么? 数据库 非关系型数据库(Not-Only-SQL) NoSQL 强依赖于HDFS(基于HDFS) 按照BigTable论文思想开发而来 面向列来存储 可以用来存储:“结构化”数据,以及“非结构化”数据 一个另新手程序员不爽的地方: HBase在查询数据的时候,只能全表扫描(最少要按照某一个区间(行键范围)扫描). 1.HBase的起源 HBase的原型是Google的BigTable论文,受到了该论文思想的启发,目前作为Hadoop的子项目来开发维护,用于支持

hadoop完全分布式手动安装(一主多从centos linux各版本均试验成功,文档完整无一遗漏) 网上的文章99%都是垃圾,我凭良心书写,确保幼儿园同学也能安装成功! 查看系统环境    1.查看Centos的版本 查看版本 lsb_release -a 或: rpm -q centos-release    2.查看是否安装openjdk rpm -qa | grep java    3.查看是否安装mariadb(mysql) rpm -qa | grep mariadb    4.查看

阅读目录 序 时间同步 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 在实际部署过程中,Hadoop中服务器节点之间需要时间同步,但Hadoop集群可能需要和其他业务系统的时间进行同步,那么就会存在其他偶尔发生的问题. 下面就这种场景进行描述. 时间同步 一:说明 在实际部署过程中,Hadoop集群需要跟业务系统的服务器集群需要时间同步,如果时间跳动较小,娜ntp会自己纠正过来

官网配置地址:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html HDFS HA主要是通过Quorum Journal Manager (QJM)在Active  NameNode和Standby NameNode之间共享edit logs hdfs-site.xml的配置 dfs.nameservices - nameservice的逻辑名称

主机的 NTP 服务未响应时钟偏差请求. 建议 这是主机运行状况测试,用于检查主机的系统时钟是否与其 NTP 服务器不同步.该测试能检查“ntpdc -c loopinfo”命令报告的主机时钟偏差绝对值是否未过大.如果该命令失败或主机的 NTP 后台程序未运行,该测试将返回运行状况“不良”. 如果 NTP 未在主机上使用,应对使用以下配置选项的主机禁用该检查.Cloudera 建议使用 NTP 使 Hadoop 群集实现时间同步. 该运行状况测试失败可能表示主机的 NTP 服务或配置出现问题.

步骤和集群规划 1)保存完全分布式模式配置 2)在full配置的基础上修改为高可用HA 3)第一次启动HA 4)常规启动HA 5)运行wordcount 集群规划: centos虚拟机:node-001.node-002.node-003.node-004 node-001:Active NN.JournalNode.resourcemanger node-002:Standby NN.DN.JournalNode.nodemanger node-003:DN.JournalNode.nodem

    一.设置主节点时间服务器的时区     二.在每一个节点上检查是否安装时间服务ntp     三.在主节点上配置时间同步的相关文件     四.在其他从节点上配置与主节点时间同步的脚本 一.设置主节点时间服务器的时区 1.选择时区(就选到beijing就行) [root@node001 ~]# tzselect 2.把时区,将cp /usr/share/zoneinfo/Asia/Shanghai设置为到/etc/localtime的链接 [root@node001 ~]# cp /us

Hadoop基础-Idea打包详解之手动添加依赖(SequenceFile的压缩编解码器案例) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.编辑配置文件(pml.xml)(我们这里配置的是对“cn.org.yinzhengjie.compress.TestCompressCodec”该包进行打包操作) <?xml version="1.0" encoding="UTF-8"?> <project xmlns="h

前言 好几天没有更新了,本来是应该先写HDFS的相关内容,但是考虑到HDFS是我们后面所有学习的基础,而我只是简单的了解了一下而已,后面准备好好整理HDFS再写这块.所以大家在阅读这篇文章之前,请先了解HDFS的相关基本概念. 本次搭建是手动在三台机器上搭建的,后续会尝试用docker或者apache  ambari来搭建管理集群,这次搭建只是能够通过动手去更深的了解hadoop结构. 准备工作 物理硬件准备,三台centos7.3机器(建议大家在阿里云或者aws购买),自己玩的话 低配就行了.

一. 基本概念 1.NN恢复实际上是由fsimage开始(这个相当于数据的base),如果有多个fsimage,会自动选择最大的fsimage,然后按照editlog序列日志开始执行日志 2.seen_txid文件里的值是当前的最大editlog值.如果nn正在运行,则是edits_inprogress_0000000003336594610 中的3336594610 :如果NN已经挂了,则是序列最大的那个edits_0000000003332374206-0000000003334396028

集群时间同步 如果服务器在公网环境(能连接外网),可以不采用集群时间同步.因为服务器会定期和公网时间进行校准. 如果服务器在内网环境,必须要配置集群时间同步,否则时间久了,会产生时间偏差,导致集群执行任务时间不同步. 时间服务器配置(必须root用户) 首先需要设置一个时间服务器作为基准,其他服务器周期性的与时间服务器同步.测试环境为了尽快看见效果采用1分钟同步一次. 1.查看所有节点ntpd(时间服务器)服务状态和开机自启状态 [root@hadoop102 ~]$ systemctl sta

*************************  有些,是没必要全导入的.以后到工作了,用Maven,就自动会导入其中一些.************************ 一般,工作中,用的更多的是java接口的方式来操作HDFS. HDFS shell接口,一般是在,删除或者查看文件数目啥等. 一般喜欢在windows里开发. 比如,在Linux里开发.用图形界面. 1.Common下的非lib下 2.Common下的lib下 3.hdfs下 4.mapreduce 得到 把这些变成奶瓶

集群的时间要同步,如果时间不同步,会出现很多问题. 找一台机器做时间服务器 所有的机器与这台机器的时间进行定时的同步 比如,每日十分钟同步一次 我们这里使用  hadoop-senior.zuoyan.com 这台主机作为时间服务器 首先检查一下主机是否安装ntp服务     使用命令 :  rpm -qa |grep ntp 如果安装了就修改配置文件,如果没有安装 就安装上,下一步 修改ntp的配置文件  使用命令  vim  /etc/ntp.conf 需要修改文件内容的地方有三处 第一处: