某大型连锁便利店:从 Greenplum 到 YMatrix,报表查询性能提升 10 倍

2024-12-12 · YMatrix Team
 

前言

YMatrix 数据库支持门店经营 BI 看板报表查询。借助数据库优秀的存储能力、高效的计算能力以及对 Greenplum 的高兼容性,为企业实现了及时的商品信息展示,帮助企业门店可以更灵活的部署商品销售策略,提升门店竞争力。

01 案例背景

某大型连锁便利店,作为全国十大连锁便利店品牌之一,正经历一次重要的技术转型。现有门店约 4000 家,主要分布在浙江省、江苏省、安徽省、上海市长三角地区,目前正在积极拓展北方市场,展现出强劲的发展势头和广阔的市场前景。

现需对销售报表系统进行升级改造,现有数据 5.7TB,5625 张相关数据表。该系统开放给每个门店店长使用以及时了解门店销售情况并及时调整商品上架和商品库存情况。

该报表系统在进行常规数据查询时,较为复杂的数据报表查询速度大于 30 秒。但由于存在周六所有店长同时访问门店销售数据情况,在这种高峰查询的情况下,数据报表查询时间往往需要超过 60 秒才会有响应,导致用户的体验明显下降。

因此,某全国连锁便利店希望我们可以帮助企业解决当前销售报表系统在大规模访问时查询性能不足问题,以增强系统用户的使用体验。

02 现存问题

用户原使用 Greenplum6 进行数据分析。在该产品中,用户集群为三台机器(1 Master点 + 2 Segment),总磁盘容量只有 10TB,单台服务器磁盘已接近 70% 的空间使用率,存在服务器空间不足和报表数据查询响应慢的问题。

  • 服务器空间不足:服务器磁盘空间使用率接近 70%,无法应对多门店的数据持续增长。

  • 报表数据查询响应慢:复杂报表查询 60s 内无响应,导致数据服务延迟,用户使用体验差。

03 YMatrix 解决方案

性能提升和存储优化,解决磁盘空间不足问题

  • 增加服务器磁盘使用空间(8TB)和计算节点个数,使用四台机器(1 Master + 3 Segment,Standby 与任一 Segment 混部)。
  • 运用 MARS3 存储引擎压缩数据大小,降低存储空间,满足业务数据持续增长需求。

数据迁移至 YMatrix,解决报表查询性能差问题

  • 在业务系统使用低峰期,将原有数据迁移至 YMatrix 运行,由 YMatrix 提供高性能的数据加工和稳定可靠的数据服务,进而提升用户使用体验。

04 用户收益

迁移过程业务系统平稳运行

  • 数据迁移效率高,5275 张表 5TB 数据迁移 2 个小时即可完成,对企业业务系统的正常使用影响低。* 原 GP 环境为三台机器单块 ssd 盘

迁移后业务层代码无需变动

  • 数据迁移后无需修改原始 SQL 语句,可通过原有语句实现 YMatrix 数据库的数据分析和数据查询操作。

多类报表查询效率显著提高

  • 多种业务场景下报表查询时间均节省 50% 以上,优化用户使用体验。

数据存储开销明显降低

  • 得益于 YMatrix 独有的 MARS3 存储引擎,迁移后客户数据存储开销降低了 25%,为之后的业务数据存储预留了足够的扩展空间。