YMatrix - 超融合数据库

基本特性

YMatrix 是基于 PostgreSQL/Greenplum 系开源数据库开发的分布式数据库产品,具有以下基本特点:

  • 集群支持多达 100 节点,可完成多节点、多核并行计算。
  • 集群支持在线扩容。
  • 集群具备金融级高可用性,3 秒内可完成故障自动转移。
  • 适用于 TB 至 PB 级数据处理。
  • 融合分析、事务、时序能力,广泛应用于智能制造、金融、车联网场景。

除商业版外,YMatrix 也提供免费的社区版本,欢迎你的体验与反馈。https://ymatrix.cn/download

“超融合”理念

超融合数据库指集事务型数据库(OLTP)、分析型数据库(OLAP)、时序数据库 (Time-series)和数据湖能力为一体的数据库产品。

YMatrix 的超融合理念,即拒绝数据处理的碎片化,而将计算、存储和网络资源整合在一套系统中。通过结合业务场景的原数据库种类、版本、集群拓扑、业务特性等方面,在数据库公共基础组件之上,为不同业务场景需求提供不同的存储、执行引擎组合,实现不同的微内核,以得到针对性的写入、存储、查询性能提升。

融合能力

YMatrix 认为数据库更应关注全场景功能、性能表现,包括写入、查询、分析、机器学习等。通过将各类能力融入至一个数据库产品,来应对多种复杂场景,从而多方位实现业务应用的多模(Multi-Model)、扩展能力(Scalability)以及成本控制。

· 分析能力

· 事务能力

· 时序能力

统一接口

YMatrix 在上层以 SQL 作为所有数据的统一接口来提供服务。

开放架构

YMatrix 具有较强的可扩展性。

一方面,YMatrix 在迭代过程开拓了越来越多的业务场景,包括车联网、智能制造、金融、向量等场景;另一方面,我们通过提供机器学习,数据联邦等能力,让更多的异构、异源业务能通过数据库扩展(Extension)直接在 YMatrix 上高效运行。


YMatrix 超融合数据库通过帮助用户简化基础设施架构,可明显降低技术栈复杂度,提升不同场景下的数据基础设施的性能表现,减少多系统并存和交互带来的风险,进而帮助企业构建一套完善的数据治理机制,充分释放数据时代的数字潜能。

自研核心技术

YMatrix 通过多项关键自研技术来驱动“超融合”理念在产品中的实现。

存储引擎:MARS3

以同时适应分析、事务、时序场景为目标,MARS3 提供了 列存和行列混存 两种模式供用户择其一。行列混存模式除提供良好的存储性能(包括压缩、状态诊断等)外,还能同时保证高性能写入。两种模式均实现了 MVCC 机制,对于分区表支持自动分区管理自动降级存储

执行引擎:向量化

向量化执行引擎是专门为面向列的存储引擎(如 MARS3,MARS2,AOCO)打造的高性能执行引擎。对于常见查询,相比面向行处理的传统执行引擎有一到两个数量级的性能提升。

流计算引擎:Domino

Domino 流计算引擎在无需额外的辅助软件的前提下,可实现数据在库内的实时流转和快速处理,可提供秒级、实时和增量的数据分析能力,根据数据变化动态展示分析结果。

高可用架构:ALOHA

ALOHA(Advanced Least Operation High Availability) 是集群状态数据管理服务。它独立于集群运行,可单独配置磁盘,可单独配置监控,在严苛环境中依然能够保证低延迟节点状态的探测和管理,3 秒内完成故障自动转移(Failover)

平台能力

MatrixUI:可视化安装运维

  • 图形化安装:10 分钟完成集群部署;3 分钟模拟时序场景的查询与写入。
  • 图形化运维监控:一键自助巡检,一键秒级扩容。

MatrixGate:高并发写入

  • 低延时、高并发:支持海量数据并行写入,充分利用带宽压缩数据,可提升百倍写入速度。
  • 支持接入不同数据源/类型。
  • 支持数据批量写入、流式写入。
  • 支持 UPSERT 能力:用以应对数据分批合并场景下数据乱序、分批等复杂的写入问题。

MatrixShift:点对点迁移

  • 点对点高效迁移:实现了由 Segment 到 Segment 的数据传输,消除通常迁移操作中可能出现的单点瓶颈。
  • 全场景迁移:支持全量、增量、条件过滤等多种迁移场景。
  • 替换 Greenplum:支持从 Greenplum 迁移集群数据到 YMatrix。

企业级安全

  • 认证:丰富的认证方法。信任认证、口令认证、PAM 证等多种认证方式。
  • 权限控制:采用基于角色的访问控制机制,通过角色机制,简化了用户和权限的关联性。
  • 加密:提供不同级别的加密。口令存储加密;为指定字段加密;SSL 主机认证;客户端加密;透过网络加密数据;跨网络加密口令;数据库分区加密。
  • 审计:记录用户的登录退出以及登录后在数据库里的行为操作,根据安全等级不一样设置不一样级别的审计。
  • 资源控制:有严格的地址访问限制,确保用户来源可信;可配置用户最大并发连接数;具有默认的连接超时策略。

更佳兼容性

  • 完全兼容 PostgreSQL/Greenplum 生态上下游工具链。

支持多种业务场景

超级数仓场景

强大的分析计算能力

数仓场景主要查询场景为历史数据分析,传统方式是使用 Hadoop 生态完成数据生产及消费:先在 Hadoop 平台储存历史数据,再使用 Spark 计算报表指标,过程复杂。

YMatrix 不仅可以利用超融合能力解决复杂生态的问题,还对分析性能进行了针对性提升:通过融合结构化、非结构化数据类型数据联邦访问等方式,完成金融、电信、政府、能源、制造等经典 OLAP 场景下的商务智能(BI,Business Intelligence)和报表分析任务。通过向量化Runtime Filter、滑动窗口,持续聚集等查询优化技术,实现了强大的分析计算能力。

复杂时序分析场景

平衡高速写入、低成本存储和实时查询

时序场景由于时序数据的实时特性,对数据库写入、存储、查询能力均要求很高。

YMatrix 针对时间进行了优化。得益于 MARS 系列存储引擎物理排序、异频上传、分批上传数据及 MatrixGate 高并发、高性能批量写入数据的能力,YMatrix 可以超越期待地满足企业时序场景下的实时入库,实时查询,事务保证等需求。

YMatrix 支持图形化扩容,操作简洁,轻松秒级扩容;支持平滑扩容,无需中断业务,保障业务安全、流畅,减少停机损失,降低风险。

融合技术栈场景

利用超融合能力打通数据链路

数据孤岛的现象,在传统工业企业中普遍存在。数据之间无法流通,也无法被利用,制约着企业的管理、经营、发展,严重影响了企业经营中对竞争优势的获取,是企业数字化转型必须打破的难关。

目前,YMatrix 的超融合架构已成功应用于工厂数据基座、大型公司集团数仓、智能网联汽车、物联设备智能运营等真实生产场景,大幅降低企业选型、采购、使用及运维时的技术门槛,得到良好反馈。如在智能制造场景中,一库即可完成对企业资源计划系统(ERP)数据、制造执行系统(MES)数据、设备数据等的采集、存储、计算、建模、查询、分析。