国产化替代

YMatrix 4.3 新特性：“持续聚集”解读

2021-11-18 · YMatrix Team

#产品动态

随着时序数据库近几年越来越火， MatrixDB 作为一款备受业内关注的国产时序数据库也不停的更新迭代。4.3 版本在兼容性及性能上得到提升外，还新增在时序场景中能达到快速查询的 —— “持续聚集”。

1. 简介

在时序场景中，聚集查询一般是基于较大量级的数据集合，对其进行归纳分组聚合运算，是一种相对耗时的查询类别，多用于分析场景。时序场景对聚集查询的需求也越来越多，同时对聚集查询的响应时间要求也越来越高。

因此，在 MatrixDB 4.3 版本中推出 “持续聚集”，一种能快速响应聚集查询的机制。

2. 持续聚集使用方法

创建数据表
基于数据表创建持续聚集视图
向数据表插入数据
查询持续聚集视图

#创建数据表
CREATE TABLE con_view_test_t1(
    c1 int,
    c2 int
)
DISTRIBUTED BY(C1);

#创建持续聚集视图
CREATE VIEW con_view1 WITH (CONTINUOUS) AS
    SELECT c1, COUNT(*), SUM(c2) FROM con_view_test_t1 GROUP BY c1;

#向原表插入数据
INSERT INTO con_view_test_t1 SELECT 1, generate_series(1, 10);
INSERT INTO con_view_test_t1 SELECT 2, generate_series(1, 100);
INSERT INTO con_view_test_t1 SELECT 3, generate_series(1, 1000);

#查询持续聚集视图
SELECT * FROM con_view1 ORDER BY c1;
 c1 | count |  sum
----+-------+--------
  1 |    10 |     55
  2 |   100 |   5050
  3 |  1000 | 500500
(3 rows)

从如上演示可以看到，持续聚集视图存储的是“创建聚集时聚合 SQL 语句聚集过的数据”，查询视图可以得到聚集后的结果，减少运算量。

3. 实现方法

数据同步

普通视图只做查询重写，并不存储实际数据，而持续聚集所创建的视图相当于物化视图，是用于存储物理数据。所以，每次向原表插入新数据时，要同步到物化视图。

数据同步在内存中进行，为了保证数据插入的延时不会受同步到物化视图过程的影响，在实现时额外增加了进程来异步处理。

数据通过共享内存同步到后台进程，后台进程并行完成数据写入，以此降低时延。

存储引擎

持续聚集应用在聚集操作场景，通常都是按列分组后，做 SUM、COUNT、MAX、MIN 等聚集操作，数据同步到物化视图后，需要特殊的数据结构做优化处理，否则和从原表扫描数据做统计没有任何区别。

优化的本质是对已有的聚集结果做合并，减少数据集合数量；对增量数据做增量合并。要做合并，则需要数据有序存储。所以，持续聚集存储引擎核心技术可以归纳为：排序和归并。

为了存储的有序性，持续聚集在实现上使用了自研的存储引擎，和 Heap 类似，是将数据划分为 Block；不同的是，Block 内部的数据是有序存储的，Block 之间也通过链表构成了有序集合。

基于如上存储，后台进程会在满足触发条件时，对排序后值相同的数据做归并，归并后存储数据量减少，查询性能提升。

聚集视图中，数据的归并是在后台进行的，执行器在执行对聚集视图的查询时，并不仅仅是简单的扫描，还要做数据再聚集。再聚集数据量会随着归并逐渐减少。

聚集数据分布

MatrixDB 是分布式数据库，数据分散在 segment 上存储，持续聚集的数据同步与排序归并也是在 segment 上独立完成，不存在跨节点的互通，也就是说物化视图的数据分布与原数据表的数据分布相同。

在对视图进行查询的时候，每个 QE 完成聚集结果后，到 QD 节点再做二阶段聚集。

维护方法

MatrixDB 提供对持续聚集进行维护的 UDF：

ANALYZE 物化视图，可以更新统计信息，有利于优化器做计算：

VACUUM 物化视图，可以清理 Dead tuple，使空间重复利用；第二个参数为 true 会重建表文件、减少存储空间：

重建物化视图，适用于源数据表做了更新删除，重新全量同步数据的场景：

Q&A

1. 物化视图的数据与源表是实时同步的吗？

是的，源表插入数据提交后，即可从物化视图查询到。

2. 持续聚集可以保证ACID吗？

可以，物化视图中的数据与原表数据使用相同的事务 ID。

3. 如何处理更新删除？

原表的更新删除以及 DROP 并不会体现在持续聚集视图中，但支持 upsert 更新和非空最新值 last_not_null 聚合。

4. 持续聚集对窗口函数有效吗？

暂时不支持窗口函数。

5. 持续聚集是否支持 partition 表？

支持。

6. 持续聚集是否支持多表聚集？

不支持。

7. 一张表可以定义多个持续聚集吗？

支持。