前言 当下有许多的运维自动化工具( 配置管理 ),例如:Ansible.SaltStack.Puppet.Fabric 等. Ansible 一种集成 IT 系统的配置管理.应用部署.执行特定任务的开源平台,是 AnsibleWorks 公司名下的项目,该公司由 Cobbler 及 Func 的作者于 2012 年创建成立. Ansible 基于 Python 语言实现,由 Paramiko 和 PyYAML 两个关键模块构建. Ansible 特点: 部署简单,只需在主控端部署 Ansible

自动分区需要开启MySql中的事件调度器,可以通过如下命令查看是否开启了调度器 show variables like '%scheduler%'; 如果没开启的话通过如下指令开启 ; 1.创建一个分区表 CREATE TABLE sales ( id INT AUTO_INCREMENT, amount DOUBLE NOT NULL, createTime DATETIME NOT NULL, PRIMARY KEY(id, createTime) ) ENGINE=Innodb PARTI

对上一篇文章进行实际的运用.在工作中遇到有一张大表(五千万条数据),在开始的时候忘记了创建自动分区,导致现在使用非常不方便,查询的速度非常的满,所以就准备重新的分区表,最原始方法是先创建新的分区表,然后将数据依次插入到新的表中,但是我们的表的数据比较的大,如果这样做可能导致效率相对较低,经过寻扎发现了上一篇文章,这篇文章有三个方法,第一个就是最原始的方法,我没有进行实验,第二种(交换分区)和第三种的(在线重定义)我都进行了测试,第三种方法,我初以为会比较快速,但是经过测试需要超过2个小时的时间,

单表自动单个分区字段使用方式,请参考:<Oracle12c:自动分区表> 两个分区字段时,必须一个主分区字段和一个子分区字段构成(以下代码测试是在oracle12.1版本): create table tommy_test( id int, name ), p_city ), p_day date ) partition ,'day')) subpartition by list(p_city) subpartition template ( subpartition p1 '), subpa

--list_range  示例   drop table list_range_tab purge; create table list_range_tab(n1 number,n2 date)partition by list(n1)subpartition by range(n2)(partition p01 values(1)  ( subpartition  subp01 values less than (to_date('3001-01-01 22:00:00','yyyy-mm-

一.自动分区推断 1.概述 表分区是一种常见的优化方式,比如Hive中就提供了表分区的特性.在一个分区表中,不同分区的数据通常存储在不同的目录中, 分区列的值通常就包含在了分区目录的目录名中.Spark SQL中的Parquet数据源,支持自动根据目录名推断出分区信息. 例如,如果将人口数据存储在分区表中,并且使用性别和国家作为分区列.那么目录结构可能如下所示: tableName |- gender=male |- country=US ... ... ... |- country=CN ..

我们知道,HBASE在创建表的时候,会自动为表分配一个Region,当一个Region过大达到默认的阈值时(默认10GB大小),HBase中该Region将会进行split,分裂为2个Region,以此类推.表在进行split的时候,会耗费大量的资源,频繁的分区对HBase的性能有巨大的影响.所以,HBase提供了预分区功能,即用户可以在创建表的时候对表按照一定的规则分区. 假设我们初始给它10个Region,那么导入大量数据的时候,就会均衡到10个里面,显然比1个Region要好很多.可是我们

脚本实现通过ansible-playbook自动化安装Keepalived和配置,主要解决问题如下: Keepalived自动化安装: keepalived_vrid配置,自动根据vip获取最后一段作为vrid,确保同一网段不会出现vrid冲突导致HA切换失败的问题: 自动配置Keepalived: HA检测脚本自定义,根据脚本内容,来做redis或nginx或其他软件的双机热备: 自动配置vip给Keepalived 设置Keepalived开机启动,加入系统服务: Keepalived安装脚

http://szgb2016.blog.51cto.com/340201/1669731 安装 yum -y install ansible expect 生成key,ssh-keygen -t rsa -f ~/.ssh/id_rsa 两种办法 ssh+expect 出自oldbody cat /etc/ansible/hosts [web] web1  ansible_ssh_host=192.168.1.21 web2  ansible_ssh_host=192.168.1.22 提供修

在CMD命令文本下执行,即可: diskpart //1.进入diskpart模式 list disk //2.查询磁盘 select disk 1 //3.选择磁盘 create partition extended //4.创建扩展区 create partition logical //5.创建逻辑分区(所有) assign letter=D //6.指定盘符号D format quick //7.格式化分区(win7) format D: /q /fs:ntfs //7.格式化分区(wi

HBase扩展和负载均衡的基本单位是Region.Region从本质上说是行的集合.当Region的大小达到一定的阈值,该Region会自动分裂(split),当然也可能是合并(merge),合并可以减少Region和相应存储文件的数量(请注意目前HBase[0.94版]不支持在线的Region合并,当然你可以使用工具离线合并,在线和离线可以视为enable,disable状态).   Bigtable Paper认为一台Server上保有10到1000个Region为佳,每个Region的大小

首先声明,我是一个菜鸟.一下文章中出现技术误导情况盖不负责 oralce在linux下主动备份并删除5天前备份 导出脚本: export ORACLE_BASE=/opt/oracle                  ---安装路径 export ORACLE_HOME=/opt/oracle/920              ---产品目录 export PATH=/ora/bin:$PATH:$ORACLE_HOME/bin     ---工具路径 export ORACLE_OWNER=

适用于每天一个分区...不断加分区,导致分区不够用的情况 CREATE DEFINER=hehe@XXXXXX PROCEDURE p_auto_partition_day(IN databaseName VARCHAR(50),IN tableName VARCHAR(50),IN daynum VARCHAR(50)) BEGIN DECLARE v_partion_date DATE; DECLARE v_partion_date_old DATE; DECLARE v_now DATE

1.首先安装好Ansible环境,具体步骤请见Ansible安装 2.先创建hosts文件(为后面编写脚本安装JDK做铺垫) [root@localhost /]# vi hosts [jdktest] 192.168.186.133 ansible_ssh_user=guxiong ansible_ssh_pass=private192.168.186.134 ansible_ssh_user=guxiong ansible_ssh_pass=private 注:记得/etc/ansible/

1.首先安装好Ansible环境,具体步骤请见Ansible安装 2.先创建hosts文件(为后面编写脚本安装JDK做铺垫) [root@localhost /]# vi hosts [jdktest]192.168.186.134 ansible_ssh_user=guxiong ansible_ssh_pass=private 注:记得/etc/ansible/hosts也要加入 3.创建该层级的文件目录 ├── roles ├── jdk-install │ ├── default │ ├

系统架构图 网络架构 一.安装docker,确保hostname没有问题 ,查看/etc/hostname./etc/hosts. https://docs.docker.com/engine/installation/linux/docker-ce/ubuntu/#install-docker-ce-1 二.安装dcoekr-compose,这边还是要去官网看看,每次的链接不一定都一样. sudo curl -L https://github.com/docker/compose/releas

ansible playbook 安装rabbitmq单机版,以下脚本在CentOS6.7服务器测试通过. 需要配置本机的yum源,用于安装socat软件. rabbitmq版本和Erlang版本需要对应,相关文档见:http://www.rabbitmq.com/which-erlang.html 可以根据自己需要选择rabbitmq版本(但要到官网查询支持的Erlang,否则安装后无法启动) --- - name: install rabbitmq app gather_facts: Fal

公司业务系统一张表按时间每天分区 写入数据时报错:ORA-14300: 分区关键字映射到超出允许的最大分区数的分区 ORA-14300: partitioning key maps to a partition outside maximum permitted number of partitions Cause: The row inserted had a partitioning key that maps to a partition number greater than 10485

1.首先准备3台机器 ansible机器:192.168.52.34 目标主机:192.168.52.35 目标主机:192.168.52.36 2.关闭防火墙 [root@localhost ~]# systemctl stop firewalld [root@localhost ~]# setenforce 3.配置免密登录 4.安装ansible yum -y install ansible 5.在ansible的配置文件中添加目标主机 vim /etc/ansible/hosts ##

1.首先准备3台机器 ansible机器:192.168.52.34 目标主机:192.168.52.35 目标主机:192.168.52.36 2.关闭防火墙 [root@localhost ~]# systemctl stop firewalld [root@localhost ~]# setenforce 3.配置免密登录 4.安装ansible yum -y install ansible 5.在ansible的配置文件中添加目标主机 vim /etc/ansible/hosts ##

在hadoop上创建目录/spark-study/users/gender=male/country=US/users.parquet(并且把文件put上去) code: package cn.spark.study.core.mycode_dataFrame; import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.sql.DataFr