YMatrix 5.0.0 GA 版本发布公告

2023-04-06 · YMatrix Team
#产品动态#新闻

YMatrix 5.0.0 GA 版本正式发布。

5.0.0 版本是 YMatrix 超融合数据库的一次重大版本迭代,在性能、功能、易用性及稳定性方面均实现了重大提升。GA 版本的正式发布,标志着所有的新特性在经过严格的测试验证后,已达到生产级可用状态。

同时,为了帮助用户更深入地理解功能特性及技术架构,更便捷地查找相关的操作指引和工具支持,YMatrix 官方文档也进行了升级重构,新增对架构及原理的详细阐述,增强了 FAQ 的覆盖,重构了数据建模的说明与指引。

5.0.0 版本特性发布

1. 全新数据库架构

  • 基于 Raft 算法,实现集群主节点(Master)和和主节点备用节点(Standby)的故障自动转移

  • 引入面向服务的架构,使集群的部署,运行和维护更加简单方便

  • 新增集群管理工具:

    • mxaddmirrors:镜像节点(Mirror)添加工具

    • mxdeletesystem:删除 YMatrix 数据库实例和数据

    • mxinitstandby:主节点(Master)备用节点添加工具

    • mxrecover:数据库系统修复工具

    • mxstart:启动一个 YMatrix 数据库系统

    • mxstate:显示数据库系统运行状态

    • mxstop:停止或重启数据库系统

    • 支持为 etcd 集群部署监控

2. 新增向量化执行引擎

  • 支持批处理:利用批处理的方式,可以有效减少函数调用等执行开销

  • 充分利用硬件及编译器能力:使用 CPU 缓存友好的算法,从而充分利用硬件以及编译器的优化能力,如生成 SIMD(Single Instruction, Multiple Data)指令

  • 支持多种算子:实现了 Scan、Sort、Aggregate、Join、Window Function、Sub Query、Limit、Motion 等算子,对于同一算子也有不同的算法实现,有效覆盖绝大部分查询场景,提升查询性能

  • 相比面向行处理的传统执行引擎,向量化执行引擎可实现 1 到 2 个数量级的性能提升

3. 新增 Runtime Filter 查询性能优化技术

  • Runtime Filter 是提升 YMatrix 执行引擎性能的关键技术之一,它是指在优化器生成物理执行计划后,在执行引擎中估价时,动态构建的过滤器(Filter),区别于优化器预先规划的过滤器

4. MARS2 存储引擎性能大幅优化

  • 优化压缩策略,降低内存使用量

  • 优化分区表写入,降低内存使用量

  • 优化查询过滤效果,减少不必要的 I/O 消耗

  • 优化数据量估计,执行计划的选择更精准

  • 增强聚合能力,支持 uniquemode 和 IN 表达式

5. 新增编码链压缩算法

  • 支持多种编码、压缩算法:支持 lz4,zstd,simple8b,doubledelta,gorilla,deltazigzag,floatint 等编码、压缩算法,可灵活组合以上算法,以充分提升压缩率

  • 支持列级或表级自定义压缩算法

  • 支持自适应编码

  • 配合向量化执行引擎使用提升数据压缩 / 解压速度:在 SSB 场景下解压速度是 LZ4 的 3 倍

  • 编码链压缩方案可大幅减小空间占用,降低成本。在新能源汽车场景,压缩率是使用 LZ4 压缩算法方案的 3.9 倍,在 TSBS(Time Series Benchmark Suite)场景,是 LZ4 的 2.7 倍

6. 存储诊断工具 Datainspect 升级

  • 增加新函数 desc_compress,可以对两种指定压缩算法进行对比择优

7. MatrixGate 功能增强

  • 在故障自动转移机制启动时,自动将服务切换到相应健康的备用节点

  • 增加写入数据时的详细监控,方便发现问题时进行调试,可通过 -I 启动参数开启

  • 针对 stdin 加载场景做了一系列优化,数据加载性能相比 4.8.0 提升了一倍

8. 新增平滑扩容功能

  • 支持不停机完成扩容任务

  • 支持自定义数据节点集合(Segment Set),实现对部分表的重分布

  • 支持并行执行表数据重分布

  • 支持连接未重分布表与已重分布表

  • 支持图形化界面一键平滑扩容

9. 数据迁移工具 mxshift 功能增强

  • 以数据库为单位,实现对数据表 DDL 的迁移,并且可选择是否只迁移 DDL

10. 图形化界面升级

  • 增加查询监控页面,支持自定义管理页面展示的慢查询信息,可一键终止慢查询

  • 增加写入测试功能,一键体验 YMatrix 强大数据写入性能

  • 增加查询测试功能,支持按照业务场景自定义查询测试方案,一键体验高并发场景下 YMatrix 强劲查询性能

  • 部署页面全新升级,步骤更加简单

  • 扩容页面全新升级,增加平滑扩容功能,步骤更加轻便

  • 增加高可用状态检测功能

11. 自动分区管理增加新策略 auto_partitioning_ex

  • 支持批量创建分区

  • 支持强制保留特定历史分区

  • 支持自定义自动分区操作时段

官方文档升级重构

1. 新增章节 “关于 YMatrix”

此章节是关于 YMatrix 数据库产品方向及技术功能方向的全局介绍。包含简介、架构、基本特性列表、性能测试报告、文档使用说明五个小节。

2. 新增章节 “参考指南”

将原有“工具指南”合并进来。此章节为 YMatrix 功能的使用提供基本的原理参考与使用指南,包含集群管理工具指南、存储引擎、执行引擎、数据类型、镜像分布策略、自动化分区管理、持续聚集、滑动窗口几个小节。

3. 一级目录新增章节 “ FAQ ”

将原“故障诊断”中的“FAQ”小节抽出,作为一个独立章节持续维护。此章节分类总结了 YMatrix 在实际应用中遇到的常见问题,建议通过搜索关键词或 “command / control + F” 定位问题位置。

4.“数据建模”章节全新内容上线

对原有“数据模型”板块进行答复内容更新,除技术介绍外,我们尝试通过整个章节使用户对时序数据模型(Time-series Data Model)的概念、应用及发展都有清晰的理解。包含“时序模型是什么?”、“时序建模思路”、“车联网场景下的数据建模示例”、“智能家居场景下的数据建模示例”四个逻辑连贯的小节。

5. “数据写入”章节重新整合目录

将原有的“MatrixDB写入全景”与“时序场景写入概述”整合为“时序场景下的数据写入特征”,将 Kafka、文件、编程语言三种写入方式整合在“数据写入场景”目录下。

6. “运维监控”章节重新整合目录

除增加新文档“etcd 监控”、“健康监测”外,对原有目录也进行了整合:合并“集群管理”与“可视化数据表”为“日常管理”,将“扩容功能”更名为“集群扩容”。

更具体的内容展开,可参考官方文档:https://ymatrix.cn/doc/5.0/version_list