版本发布历史

4.5.0 发布介绍

  1. Mars2存储引擎隆重发布,upsert场景优化显著,并且后台自动压缩,省去了转表过程(文档
  2. 新增查询统计组件,可以用来统计查询使用时间和资源消耗(文档
  3. MatrixGate升级(文档):
    • 支持任意列timestamp转换;
    • 新增Watch功能,可以查看MxGate写入数据的实时以及历史指标信息;
    • Upsert支持boolean类型。
  4. mxbench升级,用户可以灵活配置指标类型、采集频率、空值率、随机度等(文档
  5. 新增滑动窗口流计算,流数据的实时分析与监控,并支持订阅发布(文档
  6. Kubernetes支持,可以在k8s上部署MatrixDB集群(文档

4.4.0 发布介绍

  1. MatrixGate升级(文档
    • upsert支持去重
    • 新增--insert-timeout--request-timeout参数来控制超时,防止高负载场景因资源耗尽导致雪崩
  2. Kafka数据接入流程重新设计,支持CSV和JSON两种数据格式和映射关系设置(文档
  3. 自动分区管理页面升级(文档
  4. INSERT INTO SELECT语句支持并行扫描
  5. Grafana监控页面升级,监控面板拆分为系统面板和数据库面板,并增加了中文描述(文档
  6. PXF升级到6.2.1,在大量小文件场景吞吐率有2~5倍提高

4.3.10 发布介绍

4.3.10修复了如下bug:

  1. segment crash后mirror无法启动的问题
  2. 特定情况下UDF访问catalog导致QD crash的问题
  3. PXF访问Hive ORC添加filter crash的问题

4.3.0 发布介绍

  1. 持续聚集隆重上线
    • 持续聚集通过物化视图实时同步源表数据并做排序归并,使聚集查询更高效(参考文档
  2. 空间数据类型支持
    • 开发了增强版的PostGIS组件,可以完美支持空间数据类型的存储和计算(参考文档
  3. MatrixGate升级
    • 增强数据接入容错机制,单条数据格式错误不会影响所在批次其他数据(参考文档
    • MatrixGate日志管理,支持自动归档与清理
    • 新增了迁移模式,可以高效同步其他Greenplum5、Greenplum6、MatrixDB集群中的数据表到本集群(参考文档
  4. 可视化数据表上线
    • 管理页面里新增了可视化数据表版块,可以方便查看集群数据库与表的状态(参考文档
  5. 自动分区图形化管理
    • 分区表可以通过图形化界面设置模板和自动化分区管理策略(参考文档
  6. Mars存储引擎升级
    • tag_id支持数据类型在整型基础上新增了text,varchar,name,numeric;并且支持多分组键,即用多个列作为tag_id
    • Mars存储引擎支持merge scan操作,可以通过合并方式来对已有数据做更新

4.2.0 发布介绍

  1. Mars 引擎再优化
    • 智能压缩算法上线,根据数据类型和特征判断是否启用压缩。使用新编码压缩后,存储占用空间下降70%。
    • 查询性能提升,基于时间戳排序的特定查询,时延下降千倍,从秒级降到“毫秒级”。
    • 查询内存使用量大大的降低,SELECT语句,内存使用率下降90%。
  2. MatrixGate支持upsert,适用于如下场景(使用方法请参考文档):
    • 设备可能重复发送数据或更正错误时序数据
    • 不同类别的指标数据分批发送,实现自动合并
  3. 冷热分级转换支持归并压缩:为方便用户在分区表做热转冷的数据转换,可以将多个分区表合并到一起。一来能降低分区管理的压力,也利于DBA进行维护。使用方法请参考文档
  4. 并行备份恢复“工具”首度公开亮相:MatrixDB隆重推出mxbackup和mxrestore两大工具,相比继承自PostgreSQL的pg_dump和pg_restore,支持并行处理,备份恢复效率更高。使用方法请参考文档

4.1.0 发布介绍

  1. 新增mxkv用户自定义数据类型做kv存储,方便扩展附加字段,相比json类型性能更好
  2. 支持kafka数据接入和图形化操作界面
  3. 提供分区自动化管理函数。用户可以自定义分区策略,后台进程自动完成分区管理

4.0.3 发布介绍

  1. 增加多机安装可视化部署
  2. 修复mars增加分区的bug

4.0.2 发布介绍

  1. mars压缩默认启用
  2. 升级后supervisor.conf平滑过渡
  3. gapfill并行优化

4.0.1 发布介绍

  1. 修复build_timeseries_table时未对列名做转义的bug
  2. Mars引擎优化与bug fix

4.0.0 发布介绍

MatrixDB 4.0.0已正式发布,新版包括如下新特性:

1 Mars引擎

Mars引擎是自研的存储引擎。该引擎包含如下特性:

  1. 列式存储
  2. 数据编码和压缩
  3. 聚集下推优化
  4. 无索引扫描的优化

在时序场景中,适合存储历史冷数据,基于时间戳的聚集查询性能极高。

Mars目前只支持插入,不支持更新和删除。

2 多节点自动化部署

在MatrixDB 3系统单节点自动化部署的基础上,实现了多节点自动化部署。包括:

  1. 添加集群节点
  2. 配置每个节点segment数量
  3. 配置是否启用数据自动镜像

只用不到5分钟,即可部署好一个集群。

具体使用方法请参考MatrixDB 4集群部署

3 冷热分级存储UDF

为方便用户为时序表建立分区、维护分区表、冷热数据转换,实现了关于创建分区模板、建立分区、替换冷热分区的一整套管理接口。

具体使用方法请参考冷热分级存储

4 time_bucket_gapfill

时序组件MatrixTS中,在time_bucket函数基础上,增加了time_bucket_gapfill函数。可以为缺失的时间间隔按照规则填充。

目前支持两种填充规则:

  1. locf:用聚合组中之前出现的值填充
  2. interpolate:对缺失的值做线性插值填充