YMatrix 文档

版本发布历史
系统需求

关于 YMatrix

快速上手

标准集群部署

数据建模

连接到数据库

数据写入

数据迁移

数据查询

运维监控

性能调优

故障诊断

参考指南

SQL 参考

常见问题（FAQ）

场景应用

YMatrix - 超融合数据库

基本特性

YMatrix 是基于 PostgreSQL/Greenplum 系开源数据库开发的分布式数据库产品，具有以下基本特点：

  • 集群支持多达 100 节点，可完成多节点、多核并行计算。
  • 集群支持在线扩容。
  • 集群具备金融级高可用性，3 秒内可完成故障自动转移。
  • 适用于 TB 至 PB 级数据处理。
  • 融合分析、事务、时序能力，广泛应用于智能制造、金融、车联网场景。

除商业版外，YMatrix 也提供免费的社区版本，欢迎你的体验与反馈。https://ymatrix.cn/download

“超融合”理念

超融合数据库指集事务型数据库（OLTP）、分析型数据库（OLAP）、时序数据库 （Time-series）和数据湖能力为一体的数据库产品。

YMatrix 的超融合理念，即拒绝数据处理的碎片化，而将计算、存储和网络资源整合在一套系统中。通过结合业务场景的原数据库种类、版本、集群拓扑、业务特性等方面，在数据库公共基础组件之上，为不同业务场景需求提供不同的存储、执行引擎组合，实现不同的微内核，以得到针对性的写入、存储、查询性能提升。

融合能力

YMatrix 认为数据库更应关注全场景功能、性能表现，包括写入、查询、分析、机器学习等。通过将各类能力融入至一个数据库产品，来应对多种复杂场景，从而多方位实现业务应用的多模（Multi-Model）、扩展能力（Scalability）以及成本控制。

· 分析能力

· 事务能力

· 时序能力

统一接口

YMatrix 在上层以 SQL 作为所有数据的统一接口来提供服务。

开放架构

YMatrix 具有较强的可扩展性。

一方面，YMatrix 在迭代过程开拓了越来越多的业务场景，包括车联网、智能制造、金融、向量等场景；另一方面，我们通过提供机器学习，数据联邦等能力，让更多的异构、异源业务能通过数据库扩展（Extension）直接在 YMatrix 上高效运行。

YMatrix 超融合数据库通过帮助用户简化基础设施架构，可明显降低技术栈复杂度，提升不同场景下的数据基础设施的性能表现，减少多系统并存和交互带来的风险，进而帮助企业构建一套完善的数据治理机制，充分释放数据时代的数字潜能。

自研核心技术

YMatrix 通过多项关键自研技术来驱动“超融合”理念在产品中的实现。

存储引擎：MARS3

以同时适应分析、事务、时序场景为目标，MARS3 提供了 列存和行列混存 两种模式供用户择其一。行列混存模式除提供良好的存储性能（包括压缩、状态诊断等）外，还能同时保证高性能写入。两种模式均实现了 MVCC 机制，对于分区表支持自动分区管理和自动降级存储。

执行引擎：向量化

向量化执行引擎是专门为面向列的存储引擎（如 MARS3，MARS2，AOCO）打造的高性能执行引擎。对于常见查询，相比面向行处理的传统执行引擎有一到两个数量级的性能提升。

流计算引擎：Domino

Domino 流计算引擎在无需额外的辅助软件的前提下，可实现数据在库内的实时流转和快速处理，可提供秒级、实时和增量的数据分析能力，根据数据变化动态展示分析结果。

高可用架构：ALOHA

ALOHA(Advanced Least Operation High Availability) 是集群状态数据管理服务。它独立于集群运行，可单独配置磁盘，可单独配置监控，在严苛环境中依然能够保证低延迟节点状态的探测和管理，3 秒内完成故障自动转移（Failover）。

平台能力

MatrixUI：可视化安装运维

  • 图形化安装：10 分钟完成集群部署；3 分钟模拟时序场景的查询与写入。
  • 图形化运维监控：一键自助巡检，一键秒级扩容。

MatrixGate：高并发写入

  • 低延时、高并发：支持海量数据并行写入，充分利用带宽压缩数据，可提升百倍写入速度。
  • 支持接入不同数据源/类型。
  • 支持数据批量写入、流式写入。
  • 支持 UPSERT 能力：用以应对数据分批合并场景下数据乱序、分批等复杂的写入问题。

MatrixShift：点对点迁移

  • 点对点高效迁移：实现了由 Segment 到 Segment 的数据传输，消除通常迁移操作中可能出现的单点瓶颈。
  • 全场景迁移：支持全量、增量、条件过滤等多种迁移场景。
  • 替换 Greenplum：支持从 Greenplum 迁移集群数据到 YMatrix。

企业级安全

  • 认证：丰富的认证方法。信任认证、口令认证、PAM 证等多种认证方式。
  • 权限控制：采用基于角色的访问控制机制，通过角色机制，简化了用户和权限的关联性。
  • 加密：提供不同级别的加密。口令存储加密；为指定字段加密；SSL 主机认证；客户端加密；透过网络加密数据；跨网络加密口令；数据库分区加密。
  • 审计：记录用户的登录退出以及登录后在数据库里的行为操作，根据安全等级不一样设置不一样级别的审计。
  • 资源控制：有严格的地址访问限制，确保用户来源可信；可配置用户最大并发连接数；具有默认的连接超时策略。

更佳兼容性

  • 完全兼容 PostgreSQL/Greenplum 生态上下游工具链。

支持多种业务场景

超级数仓场景

强大的分析计算能力

数仓场景主要查询场景为历史数据分析，传统方式是使用 Hadoop 生态完成数据生产及消费：先在 Hadoop 平台储存历史数据，再使用 Spark 计算报表指标，过程复杂。

YMatrix 不仅可以利用超融合能力解决复杂生态的问题，还对分析性能进行了针对性提升：通过融合结构化、非结构化数据类型、数据联邦访问等方式，完成金融、电信、政府、能源、制造等经典 OLAP 场景下的商务智能（BI，Business Intelligence）和报表分析任务。通过向量化、 Runtime Filter、滑动窗口，持续聚集等查询优化技术，实现了强大的分析计算能力。

复杂时序分析场景

平衡高速写入、低成本存储和实时查询

时序场景由于时序数据的实时特性，对数据库写入、存储、查询能力均要求很高。

YMatrix 针对时间进行了优化。得益于 MARS 系列存储引擎物理排序、异频上传、分批上传数据及 MatrixGate 高并发、高性能批量写入数据的能力，YMatrix 可以超越期待地满足企业时序场景下的实时入库，实时查询，事务保证等需求。

YMatrix 支持图形化扩容，操作简洁，轻松秒级扩容；支持平滑扩容，无需中断业务，保障业务安全、流畅，减少停机损失，降低风险。

融合技术栈场景

利用超融合能力打通数据链路

数据孤岛的现象，在传统工业企业中普遍存在。数据之间无法流通，也无法被利用，制约着企业的管理、经营、发展，严重影响了企业经营中对竞争优势的获取，是企业数字化转型必须打破的难关。

目前，YMatrix 的超融合架构已成功应用于工厂数据基座、大型公司集团数仓、智能网联汽车、物联设备智能运营等真实生产场景，大幅降低企业选型、采购、使用及运维时的技术门槛，得到良好反馈。如在智能制造场景中，一库即可完成对企业资源计划系统（ERP）数据、制造执行系统（MES）数据、设备数据等的采集、存储、计算、建模、查询、分析。