问题: Mysql数据库由于业务原因,数据量增长迅速,binlog日志会增加较多,占用大部分磁盘空间. 解决方案: 出于节约空间考虑,可进行删除多余binary日志,并设置定期删除操作. .查看binlog过期时间 mysql> show variables like 'expire_logs_days'; 或者 mysql> select @@global.expire_logs_days; +------------------+-------+ | Variable_name | Val

使用下面的公式来计算undo_retention参数的值: undo_retention=undo size/(db_block_size * undo_block_per_sec) 可以通过提交下面的查询来计算数据库中实际产生的撤销数据: sys@ORCL> select sum(d.bytes) "undo" 2    from v$datafile d, v$tablespace t, dba_tablespaces s 3   where s.contents = 'UN

在Cassandra中,可以设置列的保留时间(Time To Live),当该列超过保留时间后,会下一次读取中被墓碑(Tombstone)标记,然后保留一个垃圾回收周期(表属性gc_grace_seconds设置),最后被压缩进程或修复进程自动移除. 1.如果创建表时指定default_time_to_live属性,则表中所有列列使用指定值,否则使用默认值default_time_to_live=0.2.如果插入记录时指定TTL,则插入操作所有涉及的列的保留时间为指定TTL值(从插入操作执行开始

kafka配置文件如下: broker.id=1 port=9092 host.name=ssy-kafka1 num.network.threads=4 num.io.threads=8 socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socket.request.max.bytes=104857600 log.dirs=/data/apps/log/kafka num.partitions=20 log

==============  awr快照保留时间修改 ============= 1.查询当前awr报告保留时间 col SNAP_INTERVAL for a20col RETENTION for a20SQL> select * from dba_hist_wr_control; DBID SNAP_INTERVAL        RETENTION            TOPNSQL ---------- -------------------- -------------------

1.通过xtrabackup的备份恢复数据库. 2.找到start-position和binlog名称 cat xtrabackup_info 3.导出mysqlbinlog为sql文件,并确定恢复的时间点 mysqlbinlog --no-defaults --start-position=51178055 --stop-datetime='2017-05-22 15:30' -vv mysql-bin.000004 > backup2.sql 4.导入sql source backup2.s

MySQL binlog格式解析   binlog想必大家都不陌生,在主从复制或者某些情况下的数据恢复会用到.由于binlog是二进制数据,要查看一般都借助mysqlbinlog工具.这篇笔记分析了binlog格式,希望能够了解下mysqlbinlog工具背后所做的事情. 1.什么时候写binlog 在说明什么时候写binlog前,先简单介绍下binlog的用途.binlog是二进制日志文件,用于记录mysql的数据更新或者潜在更新(比如DELETE语句执行删除而实际并没有符合条件的数据),在m

MySQL ExplainEXPLAIN 命令的输出内容大致如下: mysql> explain select * from user_info where id = 2\G*************************** 1. row *************************** id: 1 select_type: SIMPLE table: user_info partitions: NULL type: constpossible_keys: PRIMARY key: P

MySQL主从复制简介 Mysql的主从复制方案,都是数据传输的,只不过MySQL无需借助第三方工具,而是自带的同步复制功能,MySQL的主从复制并不是磁盘上文件直接同步,而是将binlog日志发送给从库,由从库将binlog文件里的内容写入本地数据库. 在生产环境中,MySQL主从复制都是异步方式同步,即不是实时同步数据. MySQL主从复制原理 1.主从复制中的线程及文件 主库线程: Dump(IO) thread(也成为IO线程):在复制过程中,主库发送二进制日志的线程 从库线程: IO

GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源. 复制概述 复制即把一台服务器上的数据通过某种手段同步到另外一台或多台从服务器上,使得从服务器在数据上与主服务器保持一致. MySQL从3.X版本就开始支持复制功能,期间多次完善.改进.新增功能,比如并行复制的改进.GTID复制的推出,多源复制的完善等众多功能的实现,目前该技术已基本成熟. MySQL的复制功能是基于数据库Server层实现的,所以无论InnoDB引擎.MyISAM引擎或其他引擎都可进行同步复制. 复制过

欢迎来到 GreatSQL社区分享的MySQL技术文章,如有疑问或想学习的内容,可以在下方评论区留言,看到后会进行解答 背景说明 AWS RDS 权限受限,使用 mysqldump 的时候无法添加 --master_data 参数获取Binlog 的 Pos 信息,故需要调用官方存储过程进行处理,详细步骤如下. 操作步骤 1.登陆aws从实例确认下主从同步 mysql> show slave status\G; 2.调用aws的存储过程停止同步 mysql> call mysql.rds_st

理论上,应该在配置文件/etc/my.cnf中加上binlog过期时间的配置项,expire_logs_days = 10 但是如果没有加这一项,随着产生越来越多的binlog,磁盘被吃掉了不少.可以直接删除binlog文件,但是可以通过mysql提供的工具来删除更安全.因为purge会更新mysql-bin.index中的条目,而直接删除的话,mysql-bin.index文件不会更新.mysql-bin.index的作用是加快查找binlog文件的速度. 先help一下吧: mysql> h

[转载]mysql的binlog安全删除  理论上,应该在配置文件/etc/my.cnf中加上binlog过期时间的配置项,expire_logs_days = 10 但是如果没有加这一项,随着产生越来越多的binlog,磁盘被吃掉了不少.可以直接删除binlog文件,但是可以通过mysql提供的工具来删除更安全.因为purge会更新mysql-bin.index中的条目,而直接删除的话,mysql-bin.index文件不会更新.mysql-bin.index的作用是加快查找binlog文件的

需求描述: 在mysql中如何删除binlog,因为随着数据库的运行,mysql中产生的binlog会越来越大,有可能把磁盘撑爆了,所以记录下删除 binlog的方法. 操作过程: 1.通过系统参数控制保留多久的binlog 在my.cnf中,加入以下的参数,重启实例 expire_logs_days = 3 #意思是保留3天的binlog;默认值是0,表示不自动删除. 备注:设置完该参数之后,当重启实例,或者刷新日志的时候,就会进行检查,然后删除3天之前的日志 2.测试在刷新日志的时候,触发删

1 基于binlog的主从复制 Mysql 5.0以后,支持通过binary log(二进制日志)以支持主从复制.复制允许将来自一个MySQL数据库服务器(master) 的数据复制到一个或多个其他MySQL数据库服务器(slave),以实现灾难恢复.水平扩展.统计分析.远程数据分发等功能. 二进制日志中存储的内容称之为事件,每一个数据库更新操作(Insert.Update.Delete,不包括Select)等都对应一个事件. 注意:本文不是讲解mysql主从复制,而是讲解binlog的应用场景

mysql打开.查看.清理binlog 1.开启日志 log_bin=/var/lib/mysql/mysql-bin mysql> show variables like '%log_bin%'; +---------------------------------+--------------------------------+ | Variable_name | Value | +---------------------------------+--------------------

BinLog又称为二进制日志,是MySQL服务层的数据日志,MySQL所有的存储引擎都支持BinLog.BinLog记录了MySQL中的数据更新和可能导致数据更新的事件,可以用于主从复制或数据恢复.本文会对BinLog的原理进行详细介绍. BinLog MySQL的BinLog用于记录MySQL的所有数据变更和可能造成数据变更的事件,这些BinLog以二进制日志的形式顺序存储在磁盘中.用户不能直接通过文本编辑器查看BinLog的内容,需要借助MySQL提供的mysqlbinlog工具才能查看文件

以前备份binlog时,都是先在本地进行备份压缩,然后发送到远程服务器中.但是这其中还是有一定风险的,因为日志的备份都是周期性的,如果在某个周期中,服务器宕机了,硬盘损坏了,就可能导致这段时间的binlog就丢失了. 而且,以前用脚本对远程服务器进行备份的方式,有个缺点:无法对MySQL服务器当前正在写的二进制日志文件进行备份.所以,只能等到MySQL服务器全部写完才能进行备份.而写完一个binlog的时间并不固定,这就导致备份周期的不确定. 从MySQL5.6开始,mysqlbinlog支持将

InfluxDB每秒可以处理成千上万条数据,要将这些数据全部保存下来会占用大量的存储空间,有时我们可能并不需要将所有历史数据进行存储,因此,InfluxDB推出了数据保留策略(Retention Policies),用来让我们自定义数据的保留时间.更多InfluxDB详细教程请看:InfluxDB系列学习教程目录 InfluxDB技术交流群:580487672(点击加入) 一.InfluxDB 数据保留策略 说明 InfluxDB的数据保留策略(RP) 用来定义数据在InfluxDB中存放的时间

在sql 的数据库表里时间字段是比较全的格式:例如GetdataTime字段:2007-06-05 12:34:50. 但在前台程序里,利用日历控件,可能查询的时候是以某天来做比较,例如开始时间:2001-06-05,结束时间:2010-03-04,在项目开发过程中发现,利用between...and...语句做查询时,会出现错误,尤其是开始时间和结束时间如果是同一天,根本不会查出任何数据,而事实上数据库里有这一天的数据. 原查询语句: queryString = "where GetdataT