遇到异常连接时,需要将对应连接杀掉,可能是连接占用了过多CPU或是IO,影响了业务,或是时间过长的空闲事务. pg对于杀掉连接提供了专门的命令,一般情况下使用pg_cancel_backend就可以,不过操作取消不掉,可以使用pg_terminate_backend,如果pg_terminate_backend命令,仍然无法将连接杀掉,此时可以使用tcpkill,将连接的网络通信连接直接杀掉. 有时候,出现使用pg_terminate_backend也杀不掉的连接,通常是网络的问题,诸如misr

优化: PG Number PG和PGP数量一定要根据OSD的数量进行调整,计算公式如下,但是最后算出的结果一定要接近或者等于一个2的指数.调整PGP不会引起PG内的对象的分裂,但是会引起PG的分布的变动三.总结PG是指定存储池存储对象的目录有多少个,PGP是存储池PG的OSD分布组合个数PG的增加会引起PG内的数据进行分裂,分裂到相同的OSD上新生成的PG当中PGP的增加会引起部分PG的分布进行变化,但是不会引起PG内对象的变动 Total PGs = (Total_number_of_OSD

目录 概述SAGA SAGA的执行方式 存在的问题 重试机制 SAGA VS TCC 实现SAGA的框架 概述SAGA SAGA是1987 Hector & Kenneth 发表的论文,主要是解决长事务执行的问题.有的系统比较旧同时也需要长事物,不能改造,那么比较适用这种场景处理,还有金融行业比较适合用这种事务,主要也是流程会比较长. SAGA的执行方式 SAGA是两层执行的,事物按流程T1,T2,,,TN.那么与之对应的就是C1,C2,,,CN.也就是由N个分布式事务组织,同时也有N个回滚事务

1.MySQL的架构 1).连接器 先根据Ip和端口号,用户名和密码,连接MySQL数据库,连接后如果没有下一步动作,连接就处于空闲状态,此时有一个连接超时时间的设置 wait_timeout默认8小时. 连接器会查询当前登录用户在权限表中所存储的权限. 连接分为长连接和短连接,长连接是指连接成功后不断开,下一次请求继续用该连接.短连接是连接成功后执行几次就断开连接. 连接的过程复杂,所以尽量用长连接,但是用长连接占用的内存资源在断开的时候才会释放,所以可能MySQL占用的内存很大.解决办法就是

MySQL5.5 中引入了 metadata lock. 顾名思义,metadata lock 不是为了保护表中的数据的,而是保护 database objects(元数据)的.包括表结构.schema.存储过程.函数.触发器.mysql的调度事件(events). 要理解 metadata lock 最重要的一点就是:将 metadata lock放到数据库事务的语义中来理解.metadata lock 的作用就是当一个事务在执行时,事务涉及到的所有元数据(metadata,也就是 datab

转自:http://ctripmysqldba.iteye.com/blog/1938150 (有修改) MySQL在进行alter table等DDL操作时,有时会出现Waiting for table metadata lock的等待场景.而且,一旦alter table TableA的操作停滞在Waiting for table metadata lock的状态,后续对TableA的任何操作(包括读)都无法进行,因为他们也会在Opening tables的阶段进入到Waiting for

MySQL在进行alter table等DDL操作时,有时会出现Waiting for table metadata lock的等待场景.而且,一旦alter table TableA的操作停滞在Waiting for table metadata lock的状态,后续对TableA的任何操作(包括读)都无法进行,因为他们也会在Opening tables的阶段进入到Waiting for table metadata lock的锁等待队列.如果是产品环境的核心表出现了这样的锁等待队列,就会造成

数据库的备份是极其重要的事情.如果没有备份,遇到下列情况就会抓狂: UPDATE or DELETE whitout where… table was DROPPed accidentally… INNODB was corrupt… entire datacenter loses power… 从数据安全的角度来说,服务器磁盘都会做raid,MySQL本身也有主从.drbd等容灾机制,但它们都无法完全取代备份.容灾和高可用能帮我们有效的应对物理的.硬件的.机械的故障,而对我们犯下的逻辑错误却无

命名规范: 1表名,字段名,索引名称使用小写字母,数字采用下划线进行分割 2.表名采用模块名3个缩小字符 '前缀'之后顺序为表明 3.表名,字段名不超过32个字符 4.存储尸体数据的表,名称使用名词,单数 5.索引 采用'inx'开头 6.不使用保留字 7.存储实体表间多对多关系,名称建议采用'noun_verb_noun'比如'member_like_tag' 在sql语句中保留字一律使用大写 字符串使用单引号 比如: SELECT id,title FROM xiaoqu WHERE id=

http://dev.yesky.com/281/35291281.shtml 每一种逻辑错误发生的概率都极低,但是当多种可能性叠加的时候,小概率事件就 放大成很大的安全隐患,这时候备份的必要性就凸显了.那么在众多的MySQL备份方式中,哪一种才是适合我们的呢? UPDATE or DELETE whitout where… table was DROPPed accidentally… INNODB was corrupt… entire datacenter loses power… 从数据

我们知道数据库性能是数据库运维中至关重要的一个部分,据传在Oracle数据库的江湖中也有威力无比的六脉神剑技能,下面与大家免费分享Oracle大师们广为流传的六脉神剑口诀,一般人我不告诉他哦:) 少商剑:应用程序SQL代码优化 指定SQL执行计划 使用索引技术:使用反向索引降低缩影快争用.使用函数索引提高复杂计算效率.通过索引重建减少碎片 保证数据的批量提交 使用Hint条横执行计划——OLAP 中冲剑:数据库设计优化 OLTP数据库: 密集型事物,以短事物以及小的查询为主 采用Cache技术.

最近上数据挖掘的课程,其中学习到了频繁模式挖掘这一章,这章介绍了三种算法,Apriori.FP-Growth和Eclat算法:由于对于不同的数据来说,这三种算法的表现不同,所以我们本次就对这三种算法在不同情况下的效率进行对比.从而得出适合相应算法的情况. (一)算法原理 其中相应的算法原理在之前的博客中都有非常详细的介绍,这里就不再赘述,这里给出三种算法大概的介绍 但是这里给出每个算法的关键点: 1.1 Apriori算法: 限制候选产生发现频繁项集 重要性质:频繁项集所有非空子集也一定是频繁的

原文链接:http://nettedfish.sinaapp.com/blog/2013/05/31/choose-suitable-backup-strategy-for-mysql/ 数据库的备份是极其重要的事情.如果没有备份,遇到下列情况就会抓狂: UPDATE or DELETE whitout where… table was DROPPed accidentally… INNODB was corrupt… entire datacenter loses power… 从数据安全的角

博文结构图如下: 一.环境描述以及注意事项 1.1 环境简介 IP 系统 Oracle版本 OGG版本 源端 172.16.10.16/36 RHEL6.5 oracle11204 12.1 目标端 172.16.10.154 RHEL6.5 oracle11204 12.1 同步用户为:hr. 1.2 OGG网络带宽规划 GoldenGate数据同步所需的网络带宽是目前各种技术中最低的,复制全库数据时,通常GoldenGate队列文件大小与数据库日志大小的比例为1:4,GoldenGate网络

转自http://www.cnblogs.com/digdeep/p/4892953.html 转自:http://ctripmysqldba.iteye.com/blog/1938150 (有修改) MySQL在进行alter table等DDL操作时,有时会出现Waiting for table metadata lock的等待场景.而且,一旦alter table TableA的操作停滞在Waiting for table metadata lock的状态,后续对TableA的任何操作(包

上图  t1  掉用的service 没定义事物环境,但是 在 t1 上面定义了. 依旧可以 在 参数是5 的 时候 ,让 前面的操作级联回滚.  但是 我不建议这么用,除非特殊需求,正常来说事物根据在满足一致性的前提下,尽量避免长事物.

我有一张表w1000,里面有1000万条数据,这张表结构如下:CREATE TABLE `w1000` ( `id` varchar(36) NOT NULL, `name` varchar(10) DEFAULT NULL, `age` int(3) DEFAULT NULL, `money` double(8,2) DEFAULT NULL, `address` varchar(100) DEFAULT NULL, `create_date` datetime(3) DEFAULT NULL

TCC,基于业务层面的事物定义,粒度完全由业务自己控制,本质上还是补偿的思路,它把事物运行过程分为try-confirm-cancel阶段,每个阶段逻辑由业务代码控制 业务活动管理器控制业务活动的一致性,它登记业务活动中的操作,并在业务活动提交时确认所有的TCC型操作的confirm操作,在业务活动取消时调用所有TCC型操作的cancel操作 与2PC的区别,没有单独的准备阶段,try操作兼备资源操作与准备能力,try操作可以灵活选择业务资源锁定的粒度: 关于柔性事物,看下支付宝这个介绍:htt

  MySQL5.5 中引入了 metadata lock. 顾名思义,metadata lock 不是为了保护表中的数据的,而是保护 database objects(元数据)的.包括表结构.schema.存储过程.函数.触发器.mysql的调度事件(events). 要理解 metadata lock 最重要的一点就是:将 metadata lock放到数据库事务的语义中来理解.metadata lock 的作用就是当一个事务在执行时,事务涉及到的所有元数据(metadata,也就是 dat

2014-03-12 Created By BaoXinjian

我们要备份什么? 一般情况下, 我们需要备份的数据分为以下几种 数据 二进制日志, InnoDB事务日志 代码(存储过程.存储函数.触发器.事件调度器) 服务器配置文件 备份工具 这里我们列举出常用的几种备份工具 mysqldump : 逻辑备份工具, 适用于所有的存储引擎, 支持温备.完全备份.部分备份.对于InnoDB存储引擎支持热备 cp, tar 等归档复制工具: 物理备份工具, 适用于所有的存储引擎, 冷备.完全备份.部分备份 lvm2 snapshot: 几乎热备, 借助文件系统管理