一.前言 在一次对比oracle和greenplum查询性能过程中,由于greenplum查询性能不理想,因此进行定位分析,提升greenplum的查询性能 二.环境信息 初始情况下,搭建一个小的集群,进行性能测试 磁盘 SAS 交换机 千兆 集群大小 4segment 数据量 3亿 数据文件大小 68G 表类型 Heap 行表 字段类型 所有列为varchar 列宽 41列 索引 无 查询语句 select count(*) from xxx where gjdqdm = 'CHN' and

这里对查询计划的学习主要是对TPC-H中Query2的分析. 1.Query的查询语句 select s_acctbal, s_name, n_name, p_partkey, p_mfgr, s_address, s_phone, s_comment from part, supplier, partsupp, nation, region where p_partkey = ps_partkey and s_suppkey = ps_suppkey and p_size = and p_ty

转载自:https://blog.csdn.net/you_xian/article/details/78549756作者:lianghc      在greenplum 使用过程中积累的一些常用查询语句,整理出来备忘.欢迎各位留言补充.都是SQL命令以及数据字典的使用.熟悉数据字典非常重要.三个重要的schema:pg_catalog,pg_toolkit,information_schema,其中information_schema 中的数据字典都在视图中,并且这个schema中提供了大量的

Greenplum 查询哪个表的分布键 ( Greenplum ) SELECT att.nspname AS 模式名 , att.relname AS 表名 , table_comment AS 表注释 , string_agg (a.attname, '.') AS 分布键 FROM ( SELECT c.oid , obj_description(c.oid) AS table_comment , n.nspname,c.relname,regexp_split_to_table (arr

Greenplum 的分布式框架结构 1.基本架构 Greenplum(以下简称 GPDB)是一款典型的 Shared-Nothing 分布式数据库系统.GPDB 拥有一个中控节点( Master )统筹整个系统,并在整个分布式框架下运行多个数据库实例( Segment ).Master 是 GPDB 系统的访问入口,其负责处理客户端的连接及 SQL 命令.协调系统中的其他 Segment 工作,Segment 负责管理和处理用户数据.而每个 Segment 实际上是由多个独立的 Postgre

简介及适用场景 如果想在数据仓库中快速查询结果,可以使用greenplum. Greenplum数据库也简称GPDB.它拥有丰富的特性: 第一,完善的标准支持:GPDB完全支持ANSI SQL 2008标准和SQL OLAP 2003 扩展:从应用编程接口上讲,它支持ODBC和JDBC.完善的标准支持使得系统开发.维护和管理都大为方便.而现在的 NoSQL,NewSQL和Hadoop 对 SQL 的支持都不完善,不同的系统需要单独开发和管理,且移植性不好. 第二,支持分布式事务,支持ACID.保

简介: GreenPlum是一个基于PostgreSQL数据库开发的MPP架构的数据库仓库,适用于OLAP系统,支持50PB(1PB=1000TB)级海量数据的存储和处理. 背景: 目前有一个业务是需要将Oracle数据库中的基础数据增量同步到GreenPlum数据仓库,便于进行数据分析和处理. 规模: 每天产生60G左右数据,最大的表每天新增上亿条数据. 解决方法: 1)历史数据通过抽取导入的方式进行初始化. 2)增量更新数据: 使用GoldenGate将Oracle日志解析,传给GreenP

Greenplum 源码安装教程 作者:Arthur_Qin 禾众 Greenplum 主体以及orca ( 新一代优化器 ) 的代码以可以从 Github 上下载.如果不打算查看代码,想下载编译好的二进制版可以访问其母公司 pivotal 官网 下载,具体配置安装流程可以参考<Greenplum 安装>. 正文由此开始: [TOC] 1 Greenplum 介绍 Greenplum is built on PostgreSQL and operates as a data warehouse

这个其实非常简单,之所以要写此文是因为当前网上搜索到的文章都是使用PostgreSQL的驱动,没有找到使用greenplum官方驱动的案例,两者有什么区别呢? 一开始我也使用的是PostgreSQL的驱动,但相同的sql,我在客户端软件中执行只要零点零几秒,但在代码中通过jdbc查询时需要一秒多,通过多次测试,发现这个延时基本稳定在一秒多,若在平时这个貌似也不是多大的事,但在pk性能是就至关重要了,本就是几秒的事,这延迟一秒多影响是相当的大了,后来在官网下载服务器时才看到greenplum有自己

Greenplum接触也有一段时间了,在使用过程中积累了一些命令,在此分享给大家. 1. 查看segment是否有切换(没有记录则没有切换) SELECT * from gp_segment_configuration where status='d' or mode <> 's'; 2.  查看表的分布是否均匀 ; 3. 统计各个数据库大小 select datname,pg_size_pretty(pg_database_size(datname)) from pg_database; 4

最近在折腾greenplum,遇到一个蛋疼的问题,那就是获取表结构,也就是建表语句.大家都知道在MySQL里面是非常easy的,show create table table_name 就搞定了,在gpdb里面就没这么容易,在查询大量资料以后终于找到了方法.那就是自己定义一个函数去获取,函数中可以嵌套python代码,非常的方便.但是资料中的代码有大量错误,在经过几番调试以后终于可以使用了. 如果没有这个函数其实也可以获取表结构,那就是只能导出这个表的结构进行查看了.导出表结构的命令是: pg_

在使用greenplum中会使用分区表,但同时分区表需要维护分区:比如加分区,这个过程比较痛苦,查询相关资料以后有了相应的解决办法,但是该办法也不是万能的,有诸多限制,关于限制有兴趣的同学可以查看我文章最后提到的参考资料. 创建2个表(range分区表和list分区表) CREATE TABLE tb1_partition_list_yyyymmdd ( id numeric, yyyymmdd ) ) ) DISTRIBUTED BY (id) PARTITION BY LIST(yyyymm

最近开始接触Greenplum,线上也在使用了,感觉还不错,本次介绍一下集群的部署方法.那么Greenplum的架构如下: (架构图来源网络) 简单来说GPDB是一个分布式数据库软件,其可以管理和处理分布在多个不同主机上的海量数据.对于GPDB来说,一个DB实例实际上是由多个独立的PostgreSQL实例组成的,它们分布在不同的物理主机上,协同工作,呈现给用户的是一个DB的效果.Master是GPDB系统的访问入口,其负责处理客户端的连接及SQL 命令.协调系统中的其他Instance(Segm

版权声明:本文由黄辉原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/259 来源:腾云阁 https://www.qcloud.com/community 之前对GreenPlum与Mysql进行了TPC-H类的对比测试,发现同等资源配比条件下,GreenPlum的性能远好于Mysql,有部分原因是得益于GreenPlum本身采用了更高效的算法,比如说做多表join时,采用的是hash join方式.如果采用同样高效的算

PostgreSQL和Greenplum.Npgsql 想着要不要写,两个原因“懒”和“空”.其实懒和空也是有联系的,不是因为懒的写,而是因为对PostgreSQL和Npgsql的知识了解匮乏,也就懒得写.好了,开头就写到这里,有些绕口令的感觉.一贯以这种不靠谱的描述开头,也成为了一种习惯,既然是习惯,也还不算坏,得坚持. 其实想写PostgreSQL和Npgsql的博客起因还是因为项目中用到了,虽然网上有很多对PostgreSQL数据库支持的类库,可以拿来就用,但多少有些不踏实.也许是老了的原

1.greenplum数据库安装前期准备工作 1.1 安装Linux l  内存:最小1GB,推荐2GB或以上. l  交换空间: 内存大小是1-2GB时,交换空间是内存的1.5倍,内存大小2-16GB时,交换空间等于内存大小,内存大小16G以上时,交换空间为16GB. l  需要选择以下组件:GNOME桌面.编辑器.开发工具.开发库等,具体参照Linux标准文档. l  使用安装光盘安装CentOS-6.5-x86_64-bin l  Greenplum 数据库版本 4.3.9.1 1.2 配

阿里云大数据三次技术突围:Greenplum.Hadoop和"飞天"    对于企业来说,到底什么是云计算?相信很多企业都有这样的困惑,让我们一起回到这个原始的起点探讨究竟什么是云计算?云计算对于企业而言到底意味什么? 云计算的三条发展路径及三种落地形态 当回到最初的起点再审视云计算的发展路径,可以发现,经过十余年的发展演进,云计算有三条发展路径,并且最终沉淀下来了三种落地形态. 第一条路:源自于谷歌对大规模数据的处理,谷歌为全球的互联网用户提供同一个服务--搜索,它需要将全世界所有的

版权声明:本文由黄辉原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/195 来源:腾云阁 https://www.qcloud.com/community 如今,多样的交易模式以及大众消费观念的改变使得数据库应用领域不断扩大,现代的大型分布式应用系统的数据膨胀也对数据库的海量数据处理能力和并行处理能力提出了更高的要求,如何在数据呈现海量扩张的同时提高处理速度和应用系统的可用性,使客户能同时得到更高的处理速度.更高的数据可

Greenplum数据库基于PostgreSQL开源技术.本质上讲,它是多个PostgreSQL实例一起充当一个数据库管理系统.Greenplum以PostgreSQL 8.2.15为基础构建,在SQL支持.特性.配置选项和终端用户功能方面非常像PostgreSQL,用户操作Greenplum就跟平常操作PostgreSQL一样.不过,为了支持Greenplum数据库的并发结构,PostgreSQL的内部构件经过了修补.例如,为了在所有并行的PostgreSQL数据实例上并发执行查询,系统目录.

公司TM蛋疼,动不动让你学习新东西,就是不让你闲下来,本着胳膊拧不过大腿定律,忍了,这是背景. 好吧哥端起一本厚厚的<GreenPlum企业应用实战>,打开百度开始GP的学习之路: GP只能安装到linux系统上,本人没机会安装直接,大牛直接给的是虚拟机,上面已经配置好了环境,这里linux系统用的红帽子(redhat). /**gp中的基本sql语法**/ --删除表 drop table testtb; --创建表 CREATE TABLE testtb ( id integer, &qu