YMatrix 文档

版本发布历史
系统需求

关于 YMatrix

快速上手

标准集群部署

数据建模

连接到数据库

数据写入

数据迁移

数据查询

运维监控

性能调优

故障诊断

参考指南

SQL 参考

常见问题（FAQ）

场景应用

版本发布历史

6.2.4 发布介绍

发布日期：2025-03-03

增强与改进

  1. 优化器
    • 优化了 ROI 逻辑，当从 ROI 找不到对应的分区时放弃优化时不生成dummy plan (#IBOER)
  2. 工具
    • 优化了 mxstart 启动节点之前 probing all segments 的成功率 (#IBOPCG)

错误修复

  1. 存储引擎
    • 修复了 MARS3 定长优化出现小概率错误的问题 (#IBMR40)
    • 修复了 MARS3 bitmapscan 存在的迭代器问题 (#IBOE1Q)
  2. 执行引擎
    • 修复了 VHashJoin Spill 场景下可能会出现 Table 越界访问的问题 (#IBNSF8)
    • 修复了 VWindow 从 batchstore 读取数据时，触发 crash 或者报错的问题 (#IBONDT)
    • 修复了在流 snapbuild 文件找不到的情况下会导致 mirror crash 的问题 (#IBONUY)
  3. 服务管理
    • 修复了 SOA 服务的 cmux 连接泄露的问题 (#IBOOX0)
    • 修复了 addmirror 空白机导致 plan 错误的问题 (#IBOYWS)

6.2.3 发布介绍

发布日期：2025-02-24

增强与改进

  1. mxbox
    • 优化了 etcd 中关于集群状态的冗余信息，减轻对 etcd 服务的写入和更新压力，增强集群稳定性(#IBFELE)
    • 扩充了 mxbox client deployer get-cluster-service 命令行工具的功能，除了可以显示当前活跃的 cluster/shard 服务地址，也可以显示待机中的非活跃高可用服务的信息。同时增加一个必选参数 --service-name，取值为 cluster 或 shard (#IBDQ6W)
    • 将 SOA 服务发现的信息缓存在 deployer 服务中，其他服务通过访问 deployer 的 API 接口来获取服务发现结果，降低了对 etcd 直接访问的压力，改善了大规模集群下的操作稳定性 (#IBGJJ8)
    • 高可用服务进程 cluster/shard/replication/deployer 会更积极地释放物理内存到操作系统，降低内存占用 (#6e9e4636)
    • 当 mxstart/mxstop 操作时，如果集群规模很大，现在会分批执行 shard/replication 的启动，以避免所有服务并发启动对 etcd 形成瞬时的超高负载，增强了操作稳定性 (#IBI16W)
    • 当某个 shard 下的 primary/mirror 都发生宕机时，现在会让 gp_segment_configuration 中保留最后一个 primary 角色的节点的状态为 UP，以确保数据库重启时能够仍然能启动成功 (#IBJ58D)
    • mxrecover 工具增加了 -s 选项，可以指定要恢复的 shard (#IBJLRN)
    • mxstate 工具增加了 -e 选项，用于输出处于非正常状态下的 segment 信息 (#IBK5EM)
  2. 灾难恢复
    • 在 subscriber 进程的配置文件里删除了 restore_point_creation_interval_minute，增加了 restore_point_creation_interval （必选）参数，用户可以自行配置同步间隔 (#2cd254aa)
    • mxaddmirrors plan 现在支持对非平衡部署的集群生成 mirror 节点分布。建议对非平衡部署的集群使用自定义分布时，应经由人工审核并调整为最合理的 mirror 布置方案后使用 (#IBFUEX)
    • 改变了 mxaddmirror 自定义配置的使用方式。用户需要先 mxaddmirrors init，然后再 mxaddmirrors config --init-file <path_to_file> 来生成 config 模版。现在即使对于非平衡部署的集群，按照新的使用方式，也可以生成合理的配置方案 (#IBFUDC)
    • 对于非平衡部署的集群，mxinitstandby 允许将 standby 添加到一台没有部署 segment 节点的空白物理机上(#IBIU96)
    • 对于非平衡部署的集群，mxaddmirror 允许在自定义配置方式下，将 mirror 添加到一台没有部署 segment 节点的空白物理机上 (#IBKSYA)

错误修复

  1. MatrixShift
    • 修复了源数据库中的 PRIMARY KEY 经过 mxshift 的 DDL 迁移功能后，被变成 UNIQUE INDEX + NOT NULL 约束的问题 (#IBFVS3)
    • 修复了迁移 UDF 的定义时，如果函数同时存在入参和出参，生成的 DDL 语句中参数位置错配的问题 (#IBIN2R)
  2. MatrixGate
    • 修复了使用 mxgate set --auto-tune = false 关闭 auto-tune 功能时，不能使被 auto-tune 停止的并发 slot 再次恢复工作的问题 (#IBKGPH)
  3. mxbox
    • 修复了 replication 服务在启动/停止 postgres 实例时，有可能残留 defunct 僵尸进程的问题 (#IBICKJ)
  4. 灾难恢复
    • 修复了源端数据库发生 failover 时，有可能会使 DR 同步卡住的问题 (#IBKM33)

6.2.2 发布介绍

发布日期：2025-01-10

增强与改进

  1. MatrixShift
    • 如果配置文件没有指定任何迁移动作，只打开 verify 功能时，对一个非 mxshift 迁移过来的数据库新增报错提示 (#IBFVMM)
    • 当配置文件的 scope 段落里，存在重复的表或者父表和某些子表同时出现在 table-list 中时，新增自动去除重复的表且报出 warn 警告的能力 (#72ffcea)
  2. MatrixGate
    • mxgate 到 segment 节点之间的数据传输调整为默认不启用压缩，以节省更多的内存资源。原默认值为启用压缩 (#IBD0PW)
    • transfer 模式下，允许 mirror 节点为 Down 状态时迁移数据 (#IBCQPB)
  3. mxbox
    • 当 mxrecover 在跳过某些 shard 时，新增跳过原因输出 (#IB4NJD)
    • 用 mxrecover 对集群进行 rebalance 操作时，可通过添加 CHECKPOINT 缩短该操作带来的数据库停机时间，同时可通过增加 --skip-checkpoint 参数跳过此行为 (#IBCVOL)
    • 用 mxrecover 对集群进行 rebalance 操作时，改进了该命令在控制台的输出内容格式 (#IBCVOS)
    • mxrecover 增加 --prepare-timeout 参数。在 mxrecover 启动时，可通过 etcd 采集集群状态信息的超时情况, 默认为 1 分钟 (#IBCVOS)
  4. mxctl
    • 当安装部署时，mxctl setup collect 命令会检查 localhost 是否可以被解析为一个本地 loopback 地址，如果不能则报错 (#IBDM77)

错误修复

  1. MatrixShift
    • 修复了迁移没有任何字段的表时会报错的问题 (#IBFVQP)
    • 修复了当迁移 DDL 时，如果创建的函数里，被引用的表或其他数据库对象已经不存在，会导致创建函数报错的问题 (#d51821f)
  2. MatrixUI
    • 修复了自助巡检功能报告版本号不正确的问题 (#IBD0YZ)
  3. mxbox
    • 修复了 DR 从 segment 读取 WAL 时可能会出现卡住的问题 (#216abca3)
    • 修复了加入非平衡部署后 vmem protect limit 计算的逻辑问题 (#1b30eb0c)
    • 修复了系统启用 mxmgr 的监控功能，mxdeletesystem 时没有删除监控相关的服务进程的问题 (#IBB9SM)
    • 修复了 mxdeletesystem 时，如果物理机集群内的某些主机上没有 segment，会导致该主机上的一些服务（shard 和 cluster）残留的问题 (#63c34070)
    • 修复了用 mxrecover -r 同时恢复 master 和 data shard 时，有小概率超时的问题 (#IBD71J)
    • 修复了 replication 服务停止 postgres 实例时，有概率会出现 NotFound 错误的问题 (#IBD8H7)
  4. 高可用
    • 修复了当主节点 (Primary) 发生网络分区问题， Mirror 被晋升为 Primary 后，原 Primary 恢复正常带来双 Primary 时，错误地保留了原 Primary 的问题（应该杀死原 Primary 保留被晋升的 Mirror）(#IBE2HF)
    • 修复了当 mxstart 启动一个 primary 时，若此 primary 已经正常运行，导致错误地打断启动过程的问题(#986b5588)
    • 修复了当 mxstop 停止一个 primary 时，若此 primary 已经停止，导致错误地打断停止过程的问题(#986b5588)
    • 修复了当数据库发生意外停机并恢复后，小概率造成自动分区卡住不工作的问题 (#IBDSBY)

6.2.1 发布介绍

发布日期：2024-12-20

增强与改进

  1. mxbox
    • mxstart 的默认超时时间从1分钟增加到5分钟。仍然支持用户用 -t 参数自定义超时时间。（#9ab2957c）
    • 支持用户自定义 postmaster 进程启动时的环境变量。（#39575ad3）
    • 当集群出现 double failure 时，允许通过重启数据库启动最近的 primary 节点，而不是启动失败。（#ab0b920a）
    • 提升了 supervisor 服务和 etcd 进程的 max open files 数，解决了在超大规模集群下 etcd 服务频发 too many open files 错误的问题。（#6ca5293dcd0）
    • 新部署集群时，在 supervisor 的服务配置里删除了 etcd 服务的 --enable-pprof 参数，使得 etcd 的服务更稳定，cpu 占比更低。（#ae00e5a）

错误修复

  1. mxbox
    • 修复了集群部署时，当一台机器有多个数据节点时，自动配置的 gp_vmem_protect_limit 默认值计算过大的问题。（#5253cbbb）
    • 修复了当 replication 服务对 postmaster 进行 probe 时，postmaster 刚好意外崩溃，有几率导致 replication 服务 hang 住的错误。(#ab77de4e)

6.2.0 发布介绍

发布日期：2024-12-09

增强与改进

  1. MatrixUI
    • 安装部署或者扩容新机器时，会主动检查 /etc/ssh/sshd_config 中是否含有 AllowUsers/AllowGroups/DenyUsers/DenyGroups 等可能会导致安装过程中集群内主机 ssh 互信操作失败的配置项目，并给出具体的错误信息和修改提示 (#IB80HF)
  2. MatrixShift
    • 对配置文件引入更严格的检查，错误的配置项会在 mxshift 启动时报错并提示。例如 disable-connector = true 应该写在 [scope] 段落中，但错误的写在其他段落中，mxshift 启动时会报错并提醒 (#IB5002)
  3. mxbox
    • moveseg / initstandby 工具可以检测 --add 子命令添加的主机是否已经在物理机集群里，并给出错误信息 (#5e39499c)
    • 主机重启或首次运行 YMatrix 集群时，能够自动创建资源组 cgroup 依赖的相关路径 (#IB5G9O)

错误修复

  1. MatrixUI
    • 修复了查询负载页面中，calls_end 值 sum 之后为 0 导致查询报错的问题 (#IAMZI0)
    • 修复了集群拓扑发生变化时，MXUI 未能重新部署 mxui collector 指标采集进程的问题 (#IB8BTF)
  2. MatrixGate
    • 修复了个别环境下，YMatrix 集群重启后，mxgate 无法继续从 kafka 消费到数据的问题 (#IB6HEL)
  3. MatrixShift
    • 修复了 DDL 迁移时，ALTER MATERIALIZED VIEW 语法错误问题，支持 GP6 的 MATERIALIZED VIEW 语法迁移 (#3ba9664)
  4. mxbox
    • 修复了缓存导致 shard 状态不更新的问题 (#d5844a19)
    • 修复了当 etcd compaction 会导致元信息的当前版本被淘汰的问题 (#6c5c7c5e)
    • 修复了当网络分区异常恢复后，处于异常状态的 primary 节点无法被及时停止的问题 (#695d45fe)

6.1.1 发布介绍

发布日期：2024-11-19

增强与改进

  1. MatrixGate
    • mxgate 优化：支持将 segments 连接超时作为可配置的 GUC (#IB25VC)
  2. MatrixShift
    • mxshift 优化：/tmp 没有权限时使用 data dir (#IB0UY1)
  3. mxbox
    • 支持自定义非平衡部署 (#IAVBH5, #IAVCE2, #IAVFBE, #IAVDNP)
  4. MatrixUI（文档）
    • 支持自定义非平衡部署的 UI (#IAVXM5)

6.1.0 发布介绍

发布日期：2024-10-31

增强与改进

  1. MatrixShift

    • mxshift 优化：从 gp6 数据迁移能够跳过 external table（#IB0IUE）
    • mxshift 优化：compresstype 从 zlib 自动映射为 zstd 时，compresslevel 强制置为 1（#IB0GA9）

  2. 灾难恢复

    • 删除了 subscriber 配置文件中无用的配置项 slot
    • 调整了日志中的内容

错误修复

  1. MatrixShift
    • 修复创建 type 为 "COLLATABLE" 字段类型时报错的问题

6.0.0 发布介绍

发布日期：2024-10-11

新特性发布

  1. 新增流计算功能（文档)
    • 支持扩维计算，聚集计算，多级流计算，双流关联计算等（文档)
    • 支持多种配置和管理能力（文档)

2. 流批一体架构

  • 数据库融合流处理和批处理优势，支持实时数据和历史数据的并行处理。
  1. 新增灾难恢复集群（文档）
    • 支持跨数据中心的数据传输与同步
    • 支持灾难恢复集群的运行状态监控。
    • 支持手动将备份集群切换为服务集群，可将应用全部切换至此集群进行业务正常运行。
    • 此灾难恢复集群的容灾指标如下：
      • RPO（Recovery Point Objective，恢复点目标）
        用户可以指定一个相对合适的值以便在不影响源集群性能的情况下将此目标设置到分钟级。
      • RTO（Recovery Time Objective，恢复时间目标）
        支持数据库热备实现，RTO 可达秒级～分钟级。

性能增强

  1. TP 性能增强

    • 新增支持 Blocksize 8K，可配置数据块（block）为 8KB，大幅提升小数据量事务处理性能。

  2. MARS3 存储引擎增强

    • 新增支持 unique key，upsert，row-level lock 能力。

  3. 向量化引擎增强

    • 新增支持 Window Function 向量化。

已知问题

  1. 分区较多时，查询会触发数据库 OOM。

  2. 在 KILL QUERY 的场景下，recovering 过程可能会出现 crash 问题。