ClickHouse(11)ClickHouse合并树MergeTree家族表引擎之SummingMergeTree详细解析
SummingMergeTree引擎继承自MergeTree。区别在于,当合并SummingMergeTree表的数据片段时,ClickHouse会把所有具有相同主键的行合并为一行,该行包含了被合并的行中具有数值数据类型的列的汇总值。如果主键的组合方式使得单个键值对应于大量的行,则可以显著的减少存储空间并加快数据查询的速度。
一般SummingMergeTree和MergeTree一起使用。例如,在准备做报告的时候,将完整的数据存储在MergeTree表中,并且使用SummingMergeTree来存储聚合数据。这种方法可以避免因为使用不正确的主键组合方式而丢失有价值的数据。
建表语法
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
...
) ENGINE = SummingMergeTree([columns])
[PARTITION BY expr]
[ORDER BY expr]
[SAMPLE BY expr]
[SETTINGS name=value, ...]
创建SummingMergeTree表的参数中,与MergeTree不同的是[columns]。columns包含了将要被汇总的列的列名的元组。属于可选参数。所选的列必须是数值类型,并且不可位于主键中。
如果没有指定columns,ClickHouse会把所有不在主键中的数值类型的列都进行汇总。
其他的参数与MergeTree表是一致。
MergeTree表引擎的解析可以参考ClickHouse(09)ClickHouse合并树MergeTree家族表引擎之MergeTree详细解析
-- 建表
CREATE TABLE summtt
(
key UInt32,
value UInt32
)
ENGINE = SummingMergeTree()
ORDER BY key;
-- 插入数据
INSERT INTO summtt Values(1,1),(1,2),(2,1);
-- 查询数据
-- ClickHouse可能不会完整的汇总所有行,因此在查询中使用了聚合函数sum和GROUP BY子句。
-- ClickHouse定期合并插入的数据片段,并在这个时候对所有具有相同主键的行中的列进行汇总,将这些行替换为包含汇总数据的一行记录。
SELECT key, sum(value) FROM summtt GROUP BY key;
-- 查询结果
┌─key─┬─sum(value)─┐
│ 2 │ 1 │
│ 1 │ 3 │
└─────┴────────────┘
数据处理
当数据被插入到表中时,他们将被原样保存。ClickHouse定期合并插入的数据片段,并在这个时候对所有具有相同主键的行中的列进行汇总,将这些行替换为包含汇总数据的一行记录。
ClickHouse会按片段合并数据,以至于不同的数据片段中会包含具有相同主键的行,即单个汇总片段将会是不完整的。因此,聚合函数sum()和GROUP BY子句应该在(SELECT)查询语句中被使用,如上面的例子。
汇总的通用规则
- 列中数值类型的值会被汇总,进行sum操作。这些列的集合在参数columns中被定义。
- 如果用于汇总的所有列中的值均为0,则该行会被删除。
- 如果列不在主键中且无法被汇总,则会在现有的值中任选一个。
- 主键所在的列中的值不会被汇总。
AggregateFunction 列中的汇总
对于AggregateFunction类型的列,ClickHouse根据对应函数表现为AggregatingMergeTree引擎的聚合。
嵌套结构数据的处理
表中可以具有以特殊方式处理的嵌套数据结构。
如果嵌套表的名称以 Map 结尾,并且包含至少两个符合以下条件的列:
- 第一列是数值类型(Int,Date,DateTime),称之为key,
- 其他的列是可计算的(Int,Float32/64),称之为(values...),
然后这个嵌套表会被解释为一个key=>(values...)的映射,当合并它们的行时,两个数据集中的元素会被根据key合并为相应的(values...)的汇总值。如下面的例子。
[(1, 100)] + [(2, 150)] -> [(1, 100), (2, 150)]
[(1, 100)] + [(1, 150)] -> [(1, 250)]
[(1, 100)] + [(1, 150), (2, 150)] -> [(1, 250), (2, 150)]
[(1, 100), (2, 150)] + [(1, -100)] -> [(2, 150)]
请求数据时,使用sumMap(key,value)函数来对Map进行聚合。对于嵌套数据结构,你无需在列的元组中指定列以进行汇总。
资料分享
参考文章
- ClickHouse(01)什么是ClickHouse,ClickHouse适用于什么场景
- ClickHouse(02)ClickHouse架构设计介绍概述与ClickHouse数据分片设计
- ClickHouse(03)ClickHouse怎么安装和部署
- ClickHouse(04)如何搭建ClickHouse集群
- ClickHouse(05)ClickHouse数据类型详解
- ClickHouse(06)ClickHouse建表语句DDL详细解析
- ClickHouse(07)ClickHouse数据库引擎解析
- ClickHouse(08)ClickHouse表引擎概况
- ClickHouse(09)ClickHouse合并树MergeTree家族表引擎之MergeTree详细解析
- ClickHouse(10)ClickHouse合并树MergeTree家族表引擎之ReplacingMergeTree详细解析
- ClickHouse(11)ClickHouse合并树MergeTree家族表引擎之SummingMergeTree详细解析
最新文章
- Objective-C Mojo和Django 对接
- [转载]《民航科技》2012年4月专家论坛:程延松《关于中国民航SWIM框架及技术实现探讨》
- Intellij idea开发Hadoop MapReduce程序
- SAP SD 需求类别确定
- JS设置cookie,删除cookie
- MySQL 5.6 Warning: Using a password on the command line interface can be insecure
- CSS width:100%和width:auto的区别
- Android 程序运行之后,禁止休眠
- JavaScript 排序算法——快速排序
- LDA(latent dirichlet allocation)
- 快速入门github的方法
- HTML 多媒体、Object 元素、音频、视频
- Python操作 Memcache、Redis、RabbitMQ
- 【c#】队列(Queue)和MSMQ(消息队列)的基础使用
- 【工匠大道】升级Mac下的svn,解决命令行不能使用svn的问题
- 洗礼灵魂,修炼python(38)--面向对象编程(8)—从算术运算符进一步认识魔法方法
- vue2.0 之事件处理器
- Docker 停止容器
- web安全之渗透测试
- Linux下Tomcat启动设置debug模式启动
热门文章
- JavaScript中通过按回车键进行数据的录入
- sql面试50题------(1-10)
- 《吐血整理》高级系列教程-吃透Fiddler抓包教程(31)-Fiddler如何抓取Android系统中Flutter应用程序的包
- Java多线程(5):CAS
- 题解 P6745 『MdOI R3』Number
- jmeter执行报错:java.lang.UnsupportedClassVersionError解决办法
- 😊SpringBoot 整合 Elasticsearch (超详细).md
- Go语言核心36讲29
- 【云原生 · Kubernetes】部署 kube-proxy 组件
- C# Panel动态添加滚动条