因为工作需要,需要修改集群中机器的配置,一台一台的修改太浪费时间,就想能不能通过自动化脚本批量执行命令,尝试写一个,自己shell不熟悉,写的有点渣渣 if [ "$#" -ne 2 ];then echo "USAGE:$0 -f host_file cmd" exit -1 fi file_name=$1 cmds=$2 filepath=$(cd `dirname $0`; pwd) host_file="$filepath/$file_name&q

实验室有一个Linux集群,本文做一下记录. SSH相关命令 通过SSH登录集群中的其他机器上的操作系统(或虚拟机中的操作系统).操作系统之间已经设置免密码登录. 1. 无选项参数运行 SSH 通常使用 SSH 的方式就是不加任何选项参数,仅仅输入 "ssh".下面是示例: $ ssh 192.168.0.103 注意这样是在 ssh 进程端口号22, 目标主机用户和当前用户同名的情况下. 2. 指定登陆用户 默认的,ssh 会尝试用当前用户作为用户名来连接.在上面的示例命令中,ssh

1.fdisk [命令作用] 用于观察硬盘实体使用情况.也可以对硬盘分区. 对于一块硬盘来讲,最多只能管理15个分区 [命令语法]  fidisk    [选项]    [参数] [常用选项] -b<分区大小>  --指定每个分区的大小 -l  --列出指定的外围设备的分区表状况 -u  --与 "-l" 搭配使用,显示分区数目 -s<分区编号>  --指定分区大小 子命令:管理功能 p(print)  --显示已有分区 n(new)  --创建   d(del

1.whoami [命令作用] 显示当前登录有效用户名称 [命令语法]  whoami    [选项] [常用选项] 无 [参数说明] 用户名称 [命令示例] 显示当前登录有效用户名称 # whoami 2.hostname [命令作用] 显示或临时设置主机名 [命令语法]  hostname    [选项]    [参数] [常用选项] 无 [参数说明] 指定要设置的主机名 [命令示例] # hostname stalk  --修改主机名为stalk 3.uname [命令作用] 显示当前系统

一.选项和参数的区别        在经过上一次的系统安装后我们已经成功登陆,登陆LInux后,我们就可以在#或$符后面去输入命令,有的时候命令后面还会跟着“选项”(英文名:options)或“参数”(英文名:agruments).即Linux中的命令格式为: command [options] [arguments]  //中括号表示可选的,即有些命令不需要选项也不需要参数,但有的命令在运行时需要多个选项或参数. options(选项):选项是调整命令执行行为的开关,即,选项不同决定了命令的显

基于VMware的虚拟Linux集群搭建-lvs+keepalived 本文通过keepalived实现lvsserver的的双机热备和真实server之间的负载均衡.这方面的blog挺多,可是每一个人搭建集群的环境不同,遇到的问题也不同.本文简述配置的一些过程以及配置过程中遇到问题时的解决方式. 准本工作 1. 创建Linux虚拟机 本文是基于Vmare虚拟环境搭建集群的.所以首先在Vmare中创建一些虚拟机(安装一个Linux系统.其它的复制第一次安装的就可以).本文创建4台虚拟机.网卡模式

公司datalink平台负责从各种数据源读取数据并同步到其他的同步或者异构数据源,最近增加的HBase的reader利用到了Hbase的Replication特性. 正常情况下,我们配置HBase的Replication需要在主集群上Hbase的shell里进行如下一系列的配置. 登录到HMaster节点,打开Hbase的shell命令行,我们进行如下步骤: 1.打开主节点里要参与复制的表的列族的复制特性. disable 'order_detail' alter 'order_detail',

最近在搞spark streaming,很自然的前端对接的就是kafka.不过在kafka的使用中还是遇到一些问题,比如mirrormaker莫名其妙的丢失数据[原因稍后再说],消费数据offset错乱[之后介绍spark streaming的时候再解释] 总之,还是遇到了不少的问题.本篇就从下面几个方面介绍一下kafka: 基本介绍 安装与helloworld producer consumer mirror maker跨集群同步 控制台 基本介绍 Kafka是一款分布式的消息队列框架,它由三

<一>线上查询及帮助命令(2)1.man man [选项] [命令] 查看命令帮助,命令的词典,更复杂的还有info,但不常用. #man cd-a 显示所有的手册页,不只是显示第一个-f 只显示命令的功能,而不显示详细的说明文件,跟whatis命令相同-w 不显示手册内容,只显示将被格式化和显示的文件所在位置2.help help [选项] [命令] 查看Linux内置命令的帮助. help cd -d 显示命令简短主题描述 -s 显示命令简短语法描述 <二>文件和目录操作命令(

一.NTP 配置时间服务器1.1.检查当前系统时区1.2.同步时间1.3.检查软件包1.4.修改 ntp 配置文件1.5.重启 ntp 服务1.6.设置定时同步任务二.Linux 集群服务群起脚本2.1.介绍2.2.编写脚本三.CentOS6.8 升级到 python 到 2.73.1.环境准备3.2.安装 Python2.7 一.NTP 配置时间服务器   当集群中各个节点的时间不同步,误差超过某个范围时,会导致一些集群的服务无法正常进行,这时我们应该想办法做一个定时同步集群所有节点时间的任务

1.在登录Linux时,一个具有唯一进程ID号的shell将被调用,这个ID是什么()A.NID B.PID C.UID C.CID 2.下面那个用户存放用户密码信息()A./boot B./etc C./var D./dev 3.用于自动补全功能时,输入命令或文件的前1个或后几个字母按什么键()A.ctrl B.tab C.alt D.esc 4.vim退出不保存的命令是()A.:q B.q C.:wq D.:q! 5.文件权限读.写.执行三种符号的标志依次是()A.rwx B.xrw C.r

Linux集群部署自定义时间同步服务器(ntpd) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 身为一名运维人员,在搭建集群的时候,第一步需要做的就是同步每个机器的时间,尤其是在部署类似VPN这种服务,你不同步时间是会遇到坑的,我之前在部署openVPN是就遇到过类似的问题,我们通常对时间同步的方式:找一个机器(当然这个服务器可以是局域网的也可以是广域网的哟),作为时间服务器,所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间. 一.安装ntp软件 1>

今天给大家带来的技术分享是——Hadoop集群同步. 一.同步方式 选择一个机器,作为时间服务器(这里选择hadoop01),所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间. 二.所需工具 时间同步服务器有两个:ntpd和ntpdatp.虽然使用二者都能达到时间同步的目的,但是使用之前得弄清楚一个问题,ntpd与ntpdate在更新时间时有什么区别.ntpd不仅仅是时间同步服务器,它还可通过客户端与标准时间服务器进行时间同步,而且是平滑同步,并非ntpdate立即同步,在

来自:http://tangzhaohui.net/524 Kafka 跨集群同步方案——Kafka内置的MirrorMaker工具 该方案解决Kafka跨集群同步.创建Kafka集群镜像等相关问题,主要使用Kafka内置的MirrorMaker工具实现. Kafka镜像即已有Kafka集群的副本.下图展示如何使用MirrorMaker工具创建从源Kafka集群(source cluster)到目标Kafka集群(target cluster)的镜像.该工具通过Kafka consumer从源K

[摘自网络] kill -9 -1即实现用kill命令退出系统 Linux主要shell命令详解 [上篇] shell是用户和Linux操作系统之间的接口.Linux中有多种shell,其中缺省使用的是Bash.本章讲述了shell的工作原理,shell的种类,shell的一般操作及Bash的特性. 什么是shell Linux系统的shell作为操作系统的外壳,为用户提供使用操作系统的接口.它是命令语言.命令解释程序及程序设计语言的统称. shell是用户和Linux内核之间的接口程序,如果把

Linux常见快捷键(6个) ctrl + u:剪贴光标前面 ctrl + k:剪贴光标后面 ctrl + y:粘贴 ctrl + r:查找命令 ctrl + insert:复制 shift+ insert:粘贴 Linux常见快捷命令(6个) ~: 当前用户的家目录 -: 用户上一次所在的目录 --- 原理: env | grep -i oldpwd 有一个专门记录的环境变量 ``: 反引号,tab之上 表示将文件的结果作进一步处理 $() ==> `` $()等价于反引号,用于解析命令 --

11年时候,曾经对 Ganglia 和 Nagios有一定接触,这是两个用于监视数据中心的工具.这两个工具被大量用于高性能计算(HPC)环境中,但是它们对于其他环境也具有很大的吸引力(例如云.呈现集群和托管中心).此外,两者对监视的定义也采取了不同的侧重点.Ganglia 更多地与收集度量数据并随时跟踪这些数据有关,而 Nagios 一直致力于成为一种报警机制. 真么多年过去了,这两个工具还是挺有用的.,这里有一定的介绍:http://os.51cto.com/art/201104/255361

转载:http://blog.csdn.net/universsky/article/details/8866402 linux中grep命令的使用 grep (global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来.Unix的grep家族包 括grep.egrep和fgrep.   grep命令是一种强大的文本搜索工具,它

转自:Linux 命令集锦 linux下查看监听端口对应的进程 # lsof -i:9000 # lsof -Pnl +M -i4 如果退格键变成了:"^h". 终端连接unix删除退格键,按住CTL键同时按delete Linux搜索 # find / -name "xxx.conf" 查看linux是32位还是64位的命令 #file /sbin/init #getconf LONG_BIT #getconf -a 在Linux和Windows下都可以用nslo

原贴:http://tonykorn97.itpub.net/post/6414/249221 linux之pmap命令! =========================================================== 作者: tonykorn97(http://tonykorn97.itpub.net)发表于: 2007.01.09 17:39分类: linux 出处: http://tonykorn97.itpub.net/post/6414/249221------

top 参数 1 ,查看多核cpu  也可用 mpstat -P ALL pstate PID 查看进程堆栈 pmap -x PID 查看进程 内存段 ldd  XXX.so 查看 .so 的link 信息 linux 查看线程 方法一:PS 在ps命令中,“-T”选项可以开启线程查看.下面的命令列出了由进程号为<pid>的进程创建的所有线程. 1.$ ps -T -p <pid>   2 “SID”栏表示线程ID,而“CMD”栏则显示了线程名称. 方法二: Top top命令可以