查看连接数变化 CPU利用率到达100%,首先怀疑,是不是业务高峰活跃连接陡增,而数据库预留的资源不足造成的结果.我们需要查看下,问题发生时,活跃的连接数是否比平时多很多.对于RDS for PG,数据库上的连接数变化,可以从控制台的监控信息中看到.而当前活跃的连接数>可以直接连接数据库,使用下列查询语句得到: select count( * ) from pg_stat_activity where state not like '%idle'; 追踪慢SQL 如果活跃连接数的变化处于正常范围

背景说明 近期北京理财频道反馈用来存放股市实时数据的MongoDB数据库写响应请求很慢,难以跟上业务写入速度水平.我们分析了线上现场的情况,发现去年升级到SSD磁盘后,数据持久化的磁盘IO开销已经不是瓶颈.通过日志分析,线上单次写入(更新)请求大多在数十毫秒这个级别,数据库端观察几个主要的db在繁忙时通常有95%以上的时间在进行锁等待.线上数据库并发很高,接近1000个连接,所以怀疑是并发争用表锁导致性能不足. 我们知道MongoDB的mmap存储引擎一直是库/表级锁,因此任何写操作并发越高锁争

转载自:https://blog.csdn.net/huangwenyi1010/article/details/72853785 解决问题 前言 PostgreSQL的配置参数作为性能调优的一部分,起着重要的位置.有时候一个简单的配置参数就会觉得应用的性能.因此有必要简单了解下其相关的配置参数. 查询Linux服务器配置 在进行性能调优之前,需要清楚知道服务器的配置信息,比如说 CPU,内存,服务器版本等信息. 查询系统版本信息 root@ubuntu160:~# lsb_release -a

PostgreSQL提供了一些性能调优的功能.主要有如下几个方面.1.使用EXPLAIN   EXPLAIN命令可以查看执行计划,这个方法是我们最主要的调试工具. 2.及时更新执行计划中使用的统计信息   由于统计信息不是每次操作数据库都进行更新的,一般是在 VACUUM . ANALYZE . CREATE INDEX等DDL执行的时候会更新统计信息,  因此执行计划所用的统计信息很有可能比较旧. 这样执行计划的分析结果可能误差会变大.以下是表tenk1的相关的一部分统计信息.SELECT r

pgstatspack [root@test01 soft]# wget http://pgfoundry.org/frs/download.php/3151/pgstatspack_version_2.3.1.tar.gz --2016-06-12 21:16:11--  http://pgfoundry.org/frs/download.php/3151/pgstatspack_version_2.3.1.tar.gz Resolving pgfoundry.org... 188.227.1

MySQL/MariaDB的当前版本是5.7.6(MariaDB为MySQL创建者Monty Widenius创建的一个MySQL分支),PostgreSQL的版本是9.4.1. 以下几个方面对比两者的最新版本: ANSI标准兼容性:与先前的版本相比,MySQL已经有了长足的进步,但MySQL背后的哲学是,如果客户喜欢,他们就会支持非标准扩展,而PostgreSQL从开始就将标准构建到平台里.不过,二者殊途同归,差别不大: ACID遵从性:PostgreSQL有一个存储引擎,而MySQL有9个,

Index(索引)这个概念对于很多熟悉关系型数据库的人来说,不是一个陌生的概念.当表中数据越来越多时,在查询时,为了避免全表查询(sequence scan)可以在查询相关的条件字段上添加索引.举例来说明index对于查询效率的影响.首先创建测试表 "sort_test",如下时表创建SQL,可以发现此表有2个字段id和salary.其中id是主键,我们知道属于主键的字段是默认添加了索引的. CREATE TABLE public.sort_test ( id bigint NOT N

最近笔者在项目中遇到postgreSQL的性能问题,所以计划在公众号里写一个系列文章去追踪记录这些问题以及分析过程或解决方法. 本文主要是关于postgreSQL的autovacuum的问题.可能很多人对postgreSQL中的autovacuum是干什么的不是特别清楚.网上其实对其概念有了很多的描述.我自己的理解就是,数据库通过一定的逻辑判断对数据库的一些存储资源进行自动地回收再利用的行为就是autovacuum. 自从postgreSQL8.1版本引入这个功能之后,很多情况下在使用时,是开启

原创文章,同步发自作者个人博客,http://www.jasongj.com/sql/mvcc/ PostgreSQL针对ACID的实现机制 事务的实现原理可以解读为RDBMS采取何种技术确保事务的ACID特性.PostgreSQL针对ACID的实现技术如下表所示. ACID 实现技术 原子性(Atomicity) MVCC 一致性(Consistency) 约束(主键.外键等) 隔离性 MVCC 持久性 WAL 从上表可以看到,PostgreSQL主要使用MVCC和WAL两项技术实现ACID特

MySQL MySQL资料很多,这里只给出一个在论坛博客中最常用的操作:分页 mysql> select pname from product limit 10,20; limit的第一个参数是偏移(相当于记录的索引,从0开始计数),第二个参数是返回的记录的数目.第一个参数如果不写,默认为0. PostgreSQL简介 我们可以通过一些图形界面的管理程序,例如pgadmin来管理postgresql数据库,通过可视化或者命令行的方式的创建新的对象,删除和编辑现有的对象(例如目录,模式,表等对象)

BenchmarkSQL是一款经典的开源数据库测试工具,内嵌了TPCC测试脚本,可以对EnterpriseDB.PostgreSQL.MySQL.Oracle以及SQL Server等数据库直接进行测试,下面笔者就如何在Linux下使用这款测试工具测试PostgreSQL的性能来做一些简单介绍(操作系统为Fedora 12,PostgreSQL版本为8.0.22).       首先,在Linux下安装JDK.因为BenchmarkSQL本身是使用Java语言编写的,所以如果在Linux系统下还

PostgreSQL的并发控制机制同时实现了多版本控制MVCC协议和两阶段封锁协议.实际采用哪种协议取决于所执行的语句类型. DML语句的并发控制将使用MVCC协议: DDL语句的并发控制基于标准的两阶段封锁协议. MVCC的关键思想是维护每一行的不同版本,而不同版本对应着在不同的时间点该行的不同实例.MVCC协议确保每个事务都只看到与事务的数据库视图一致的版本的数据:每个事务看到数据的一个快照,只包含那些在事务启动时已提交的数据.这个快照并不等于数据的当前状态. 使用MVCC的目的 是让读操作

PostgreSQL 昨天,今天和明天 http://www.postgres.cn/v2/news/viewone/1/52 原作者:何伟平(laser) 创作时间:2005-01-15 11:44:24+08   采编:doudou586 发布时间:2014-01-15 11:39:30 欢迎大家踊跃投稿,投稿信箱:press@postgres.cn 评论:3    浏览:30049 目录 1 PostgreSQL 简介 1.1 摘要 1.2 版本 1.3 前言 1.4 历史 1.4.1 I

9.7 处理故障转移和高可用 可以使用pgpool来解决的一些明显的问题是高可用性和故障转移.一般来讲,有使用pgpool或者不使用pgpool可以用来处理这些问题的各种方法. 9.7.1 使用PostgreSQL流和Linux HA 使用pgpool解决高可用性的最简单的方法是和Linux HA一起使用PostgreSQL的板载工具.在这种情况下,在我们的世界中,最好的方法是不使用语句级别的复制运行pgpool和使用PostgreSQL的流复制来同步数据. pgpool可以被配置来做负载均衡,

一.前言 巨杉数据库(SequoiaDB)是国内第一款新一代文档型分布式数据库,巨杉数据库由巨杉软件完全自主研发,拥有完全自主知识产权,不基于任何其它的开源项目.SequoiaDB数据库是为分布式存储.并行计算模型.云计算资源条件下搭建和运行应用程序而设计的. 作为一款操作性数据库,巨杉数据库在海量数据实时读写场景具有得天独厚的优势,拥有较高的读写性能. 为便于跟其他同类数据库进行比较,在本篇文章中,我们介绍一个专门用于对NoSQL数据库产品进行性能测试的工具--YCSB. 二.YCSB介绍 Y

这是很早之前做过的一个测试,最近在整理postgresql测试相关的资料,所以也把它拿出来了与大家分享. 首先解释一下所谓的PostgreSQL空间性能,主要是基于postgis的空间数据导入性能,详细的postgis知识请baidu,下面记录一下整个测试过程. PostgreSQL中空间图层手动创建 1.  跳过PostgreSQL.postgis和jmeter的部署操作(如果此步骤不会跳过一下所有步骤) 2.  创建模板为postgis数据库的数据库,创建成功的数据库模式中存在topolog

PostgreSQL 多应用场景实践 - 沙箱实验 https://github.com/digoal/blog/blob/master/201805/20180524_02.md 一.GIS <如何建立GIS测试环境 - 将openstreetmap的样本数据导入PostgreSQL PostGIS库>https://github.com/digoal/blog/blob/master/201609/20160906_01.md<geoip - Geolocation using Ge

我们知道,PostgreSQL数据库中的信息,最终是要写入持久设备的.那么PostgreSQL是怎么将信息组织存储在磁盘上的呢? Bruce Momjian有一个slide <Insider PostgreSQL shared memory>,里面的图片非常直观的描述了,shared buffer,page ,磁盘文件之间的关系,请看下图. 接下来几篇博客,从不同层面讲述PostgreSQL存储相关的的内存:       上图中左下角是page的组织形式.PostgreSQL 8K为一个页面,

硬件和软件信息 CPU: Intel(R) Xeon(R) CPU E5-2683 v3 @ 2.00GHz 2 sockets / 28 cores / 56 threads内存: 256GB of RAM存储: SAMSUNG SM863 1.9TB Enterprise SSD操作系统: centos 7文件系统: xfs shared_buffers 定义了用于共享存储器缓冲区的存储器PostgreSQL使用量.这可以说是其最重要的设置,往往比(或好或坏)到MySQL的innodb_bu

PostgreSQL 优势 2016-10-20 21:36 686人阅读 评论(0) 收藏 举报  分类: MYSQL数据库(5)  PostgreSQL 是一个自由的对象-关系数据库服务器(数据库管理系统),功能很强大.包括了可以说是目前世界上最丰富的数据类型的支持,比如 IP 类型和几何类型等等. 发现很多读者都问过这样一个问题:如果打算为项目选择一款免费.开源的数据库,那么你可能会在MySQL与PostgreSQL之间犹豫不定.针对这个问题,我们采访到了即将在Postgres中国用户20

有时会碰到这样的情况,一条 SQL 在平时执行没问题,很快.但是突然某个时间执行的就会很慢,而且这种场景并不能复现,只能随机发送的. SQL 执行突然变慢的原因 在之前讲解 MySQL Redo log 时,说到了 WAL 机制,为了保证 MySQL 更新的速度,在进行更新操作时,先将更新内容写入 redo log,后续系统空闲时,再将 redo log 的内容应用到磁盘. 当内存数据页(redo log)和磁盘数据页内容不一致时,将该内存也称为 "脏页".将内存数据写入到磁盘后,数据