YMatrix 4.3 发布:持续聚集等6大特性解读!

2021-11-03 · YMatrix Team
#产品动态#博客

经过2个月的努力,MatrixDB 4.3 终于在 11 月初正式亮相,打造性能全面超越的 6 种新特性。

01. 持续聚集隆重上线

持续聚集是时序场景中经常使用的特性,用于频繁获取时间窗口内数据点的聚集值,用户可以在时序表上定义感兴趣的持续聚集视图,视图中包括用户指定的聚集函数。

在数据持续加载到表的过程中,聚集查询在后台持续运行,当用户想获取时序表的对应聚集结果时,直接查询持续聚集视图即可,通过物化视图实时同步源表数据并做排序归并,聚集查询时 QE 直接扫描归并后的结果并在 QD 上做二阶段聚集,使聚集查询更高效:

数据同步:

排序归并:

二阶段聚集:

02. 支持 “空间” 数据类型

空间数据是以空间地物的位置、形状、大小及其分布特征等信息数据,通常以坐标数据来表示,包括点线面、经纬度以及栅格数据等基本空间数据结构,如地图、实时交通流量等,各类空间数据无时不刻的在各方位呈现,数据量庞大,自然也给数据管理增加了难度。

MatrixDB 4.3 版本开发增强版 PostGIS 组件,完美的支持空间数据类型的存储和计算。

03. MatrixGate 性能再升级

数据接入容错机制

增强数据接入的容错机制,单条数据格式错误不会影响所在批次的其他数据,并且会在 HTTP 响应中包含详细错误信息,包括错误行和错误字段:

At line: 2
missing data for column "c3"
At line: 3
extra data after last expected column
At line: 4
invalid input syntax for type integer: "abc", column c2

日志归档与删除

新增--log-archive-hours--log-remove-after-days等配置参数来控制日志的压缩归档和自动删除。

迁移模式上线

高效同步 Greenplum5、Greenplum6、MatrixDB 集群中的数据表到本集群。

04. 可视化数据表上线

在 MatrixDB 管理页面新增可视化数据表版块,通过界面查看表名、存储类型、表类型和预估行数等,以及集群状态与表的状态。

05. 自动分区图形化管理

分区表可以通过图形化界面设置模板和自动化分区管理策略。

06. MARS 存储引擎升级 图片

  1. tag_id 支持数据类型在整型基础上新增:text , varchar , name , numeric;并支持多分组键,即用多个列作为 tag_id。

  2. MARS 存储引擎的数据支持更新。