YMatrix 5.0.0 GA 版本正式发布。
5.0.0 版本是 YMatrix 超融合数据库的一次重大版本迭代,在性能、功能、易用性及稳定性方面均实现了重大提升。GA 版本的正式发布,标志着所有的新特性在经过严格的测试验证后,已达到生产级可用状态。
同时,为了帮助用户更深入地理解功能特性及技术架构,更便捷地查找相关的操作指引和工具支持,YMatrix 官方文档也进行了升级重构,新增对架构及原理的详细阐述,增强了 FAQ 的覆盖,重构了数据建模的说明与指引。
1. 全新数据库架构
基于 Raft 算法,实现集群主节点(Master)和和主节点备用节点(Standby)的故障自动转移
引入面向服务的架构,使集群的部署,运行和维护更加简单方便
新增集群管理工具:
mxaddmirrors:镜像节点(Mirror)添加工具
mxdeletesystem:删除 YMatrix 数据库实例和数据
mxinitstandby:主节点(Master)备用节点添加工具
mxrecover:数据库系统修复工具
mxstart:启动一个 YMatrix 数据库系统
mxstate:显示数据库系统运行状态
mxstop:停止或重启数据库系统
支持为 etcd 集群部署监控
2. 新增向量化执行引擎
支持批处理:利用批处理的方式,可以有效减少函数调用等执行开销
充分利用硬件及编译器能力:使用 CPU 缓存友好的算法,从而充分利用硬件以及编译器的优化能力,如生成 SIMD(Single Instruction, Multiple Data)指令
支持多种算子:实现了 Scan、Sort、Aggregate、Join、Window Function、Sub Query、Limit、Motion 等算子,对于同一算子也有不同的算法实现,有效覆盖绝大部分查询场景,提升查询性能
相比面向行处理的传统执行引擎,向量化执行引擎可实现 1 到 2 个数量级的性能提升
3. 新增 Runtime Filter 查询性能优化技术
4. MARS2 存储引擎性能大幅优化
优化压缩策略,降低内存使用量
优化分区表写入,降低内存使用量
优化查询过滤效果,减少不必要的 I/O 消耗
优化数据量估计,执行计划的选择更精准
增强聚合能力,支持 uniquemode 和 IN 表达式
5. 新增编码链压缩算法
支持多种编码、压缩算法:支持 lz4,zstd,simple8b,doubledelta,gorilla,deltazigzag,floatint 等编码、压缩算法,可灵活组合以上算法,以充分提升压缩率
支持列级或表级自定义压缩算法
支持自适应编码
配合向量化执行引擎使用提升数据压缩 / 解压速度:在 SSB 场景下解压速度是 LZ4 的 3 倍
编码链压缩方案可大幅减小空间占用,降低成本。在新能源汽车场景,压缩率是使用 LZ4 压缩算法方案的 3.9 倍,在 TSBS(Time Series Benchmark Suite)场景,是 LZ4 的 2.7 倍
6. 存储诊断工具 Datainspect 升级
7. MatrixGate 功能增强
在故障自动转移机制启动时,自动将服务切换到相应健康的备用节点
增加写入数据时的详细监控,方便发现问题时进行调试,可通过 -I 启动参数开启
针对 stdin 加载场景做了一系列优化,数据加载性能相比 4.8.0 提升了一倍
8. 新增平滑扩容功能
支持不停机完成扩容任务
支持自定义数据节点集合(Segment Set),实现对部分表的重分布
支持并行执行表数据重分布
支持连接未重分布表与已重分布表
支持图形化界面一键平滑扩容
9. 数据迁移工具 mxshift 功能增强
10. 图形化界面升级
增加查询监控页面,支持自定义管理页面展示的慢查询信息,可一键终止慢查询
增加写入测试功能,一键体验 YMatrix 强大数据写入性能
增加查询测试功能,支持按照业务场景自定义查询测试方案,一键体验高并发场景下 YMatrix 强劲查询性能
部署页面全新升级,步骤更加简单
扩容页面全新升级,增加平滑扩容功能,步骤更加轻便
增加高可用状态检测功能
11. 自动分区管理增加新策略 auto_partitioning_ex
支持批量创建分区
支持强制保留特定历史分区
支持自定义自动分区操作时段
1. 新增章节 “关于 YMatrix”
此章节是关于 YMatrix 数据库产品方向及技术功能方向的全局介绍。包含简介、架构、基本特性列表、性能测试报告、文档使用说明五个小节。
2. 新增章节 “参考指南”
将原有“工具指南”合并进来。此章节为 YMatrix 功能的使用提供基本的原理参考与使用指南,包含集群管理工具指南、存储引擎、执行引擎、数据类型、镜像分布策略、自动化分区管理、持续聚集、滑动窗口几个小节。
3. 一级目录新增章节 “ FAQ ”
将原“故障诊断”中的“FAQ”小节抽出,作为一个独立章节持续维护。此章节分类总结了 YMatrix 在实际应用中遇到的常见问题,建议通过搜索关键词或 “command / control + F” 定位问题位置。
4.“数据建模”章节全新内容上线
对原有“数据模型”板块进行答复内容更新,除技术介绍外,我们尝试通过整个章节使用户对时序数据模型(Time-series Data Model)的概念、应用及发展都有清晰的理解。包含“时序模型是什么?”、“时序建模思路”、“车联网场景下的数据建模示例”、“智能家居场景下的数据建模示例”四个逻辑连贯的小节。
5. “数据写入”章节重新整合目录
将原有的“MatrixDB写入全景”与“时序场景写入概述”整合为“时序场景下的数据写入特征”,将 Kafka、文件、编程语言三种写入方式整合在“数据写入场景”目录下。
6. “运维监控”章节重新整合目录
除增加新文档“etcd 监控”、“健康监测”外,对原有目录也进行了整合:合并“集群管理”与“可视化数据表”为“日常管理”,将“扩容功能”更名为“集群扩容”。
更具体的内容展开,可参考官方文档:https://ymatrix.cn/doc/5.0/version_list。