开发者
招贤纳士
博客
文档
下载

MatrixDB 文档

快速上手

集群部署

数据模型

数据写入

数据查询

SQL参考

运维监控

工具指南

故障诊断

场景应用
版本历史

版本发布历史

4.6.0 发布介绍

  1. MARS2存储引擎聚集查询性能大幅优化
  2. 图形化界面全面升级：
    • 外观升级，极致视觉体验
    • 增加轻松上手功能，一键体验时序业务场景（文档）
    • Kafka数据流写入支持自动创建MARS2表（文档）
    • 新增图形化界面扩容（文档）
  3. MatrixGate升级：
    • 新增不停机更新并行写入相关参数的功能（文档）
    • 新增不停机更新表结构的功能（文档）
    • 迁移模式不再需要大量连续端口
    • 支持在UDF内调用
  4. Grafana监控页面升级，支持Prometheus数据监控（文档）
  5. 国产化平台支持：银河麒麟V10操作系统 + ARM平台支持
  6. 修复已知bug

4.5.0 发布介绍

  1. MARS2存储引擎隆重发布，UPSERT场景优化显著，并且后台自动压缩，省去了转表过程（文档）
  2. 新增查询统计组件，可以用来统计查询使用时间和资源消耗（文档）
  3. MatrixGate升级（文档）：
    • 支持任意列timestamp转换；
    • 新增watch功能，可以查看mxgate写入数据的实时以及历史指标信息；
    • UPSERT支持boolean类型。
  4. mxbench升级，用户可以灵活配置指标类型、采集频率、空值率、随机度等（文档）
  5. 新增滑动窗口流计算，流数据的实时分析与监控，并支持订阅发布（文档）
  6. Kubernetes支持，可以在k8s上部署MatrixDB集群（文档）

4.4.0 发布介绍

  1. MatrixGate升级（文档）
    • UPSERT支持去重
    • 新增--insert-timeout和--request-timeout参数来控制超时，防止高负载场景因资源耗尽导致雪崩
  2. Kafka数据接入流程重新设计，支持CSV和JSON两种数据格式和映射关系设置（文档）
  3. 自动分区管理页面升级（文档）
  4. INSERT INTO SELECT语句支持并行扫描
  5. Grafana监控页面升级，监控面板拆分为系统面板和数据库面板，并增加了中文描述（文档）
  6. PXF升级到6.2.1，在大量小文件场景吞吐率有2~5倍提高

4.3.10 发布介绍

4.3.10修复了如下bug：

  1. segment crash后mirror无法启动的问题
  2. 特定情况下UDF访问catalog导致QD crash的问题
  3. PXF访问Hive ORC添加filter crash的问题

4.3.0 发布介绍

  1. 持续聚集隆重上线
    • 持续聚集通过物化视图实时同步源表数据并做排序归并，使聚集查询更高效（参考文档）
  2. 空间数据类型支持
    • 开发了增强版的PostGIS组件，可以完美支持空间数据类型的存储和计算（参考文档）
  3. MatrixGate升级
    • 增强数据接入容错机制，单条数据格式错误不会影响所在批次其他数据（参考文档）
    • MatrixGate日志管理，支持自动归档与清理
    • 新增了迁移模式，可以高效同步其他Greenplum5、Greenplum6、MatrixDB集群中的数据表到本集群（参考文档）
  4. 可视化数据表上线
    • 管理页面里新增了可视化数据表版块，可以方便查看集群数据库与表的状态（参考文档）
  5. 自动分区图形化管理
    • 分区表可以通过图形化界面设置模板和自动化分区管理策略（参考文档）
  6. MARS存储引擎升级
    • tag_id支持数据类型在整型基础上新增了text,varchar,name,numeric；并且支持多分组键，即用多个列作为tag_id
    • MARS存储引擎支持merge scan操作，可以通过合并方式来对已有数据做更新

4.2.0 发布介绍

  1. MARS引擎再优化
    • 智能压缩算法上线，根据数据类型和特征判断是否启用压缩。使用新编码压缩后，存储占用空间下降70%。
    • 查询性能提升，基于时间戳排序的特定查询，时延下降千倍，从秒级降到“毫秒级”。
    • 查询内存使用量大大的降低，SELECT语句，内存使用率下降90%。
  2. MatrixGate支持UPSERT，适用于如下场景（使用方法请参考文档）：
    • 设备可能重复发送数据或更正错误时序数据
    • 不同类别的指标数据分批发送，实现自动合并
  3. 冷热分级转换支持归并压缩：为方便用户在分区表做热转冷的数据转换，可以将多个分区表合并到一起。一来能降低分区管理的压力，也利于DBA进行维护。使用方法请参考文档
  4. 并行备份恢复“工具”首度公开亮相：MatrixDB隆重推出mxbackup和mxrestore两大工具，相比继承自PostgreSQL的pg_dump和pg_restore，支持并行处理，备份恢复效率更高。使用方法请参考文档

4.1.0 发布介绍

  1. 新增mxkv用户自定义数据类型做kv存储，方便扩展附加字段，相比JSON类型性能更好
  2. 支持kafka数据接入和图形化操作界面
  3. 提供分区自动化管理函数。用户可以自定义分区策略，后台进程自动完成分区管理

4.0.3 发布介绍

  1. 增加多机安装可视化部署
  2. 修复MARS增加分区的bug

4.0.2 发布介绍

  1. MARS压缩默认启用
  2. 升级后supervisor.conf平滑过渡
  3. gapfill并行优化

4.0.1 发布介绍

  1. 修复build_timeseries_table时未对列名做转义的bug
  2. MARS引擎优化与bug fix

4.0.0 发布介绍

MatrixDB 4.0.0已正式发布，新版包括如下新特性：

1 MARS引擎

MARS引擎是自研的存储引擎。该引擎包含如下特性：

  1. 列式存储
  2. 数据编码和压缩
  3. 聚集下推优化
  4. 无索引扫描的优化

在时序场景中，适合存储历史冷数据，基于时间戳的聚集查询性能极高。

MARS目前只支持插入，不支持更新和删除。

2 多节点自动化部署

在MatrixDB 3系统单节点自动化部署的基础上，实现了多节点自动化部署。包括：

  1. 添加集群节点
  2. 配置每个节点segment数量
  3. 配置是否启用数据自动镜像

只用不到5分钟，即可部署好一个集群。

具体使用方法请参考MatrixDB 4集群部署。

3 冷热分级存储UDF

为方便用户为时序表建立分区、维护分区表、冷热数据转换，实现了关于创建分区模板、建立分区、替换冷热分区的一整套管理接口。

具体使用方法请参考冷热分级存储。

4 time_bucket_gapfill

时序组件MatrixTS中，在time_bucket函数基础上，增加了time_bucket_gapfill函数。可以为缺失的时间间隔按照规则填充。

目前支持两种填充规则：

  1. locf：用聚合组中之前出现的值填充
  2. interpolate：对缺失的值做线性插值填充