央企人力薪酬解决方案:10 亿级数据 + 国密

2024-11-28 · YMatrix Team
#案例实践

前言

紧跟中央企业薪酬管理系统建设的浪潮,YMatrix 以卓越的性能帮助企业解决数亿级数据量下的人力薪酬数据的解密查询难题,在对其架构完成优化升级的同时达到了秒级的数据解密查询性能。

YMatrix 在该场景下展示出来强劲的查询性能、稳定可靠的迁移能力和原生库内解密能力。本文将为带您了解 YMatrix 是如何实现央企人力薪酬高效的解密查询的。

01 案例背景

国家政策 2024 年 8 月,国资委印发“关于加快中央企业薪酬管理信息系统建设的通知”,进一步推动中央企业薪酬系统建设实际落地。

  1. 薪酬管理“三全”目标:国资委明确提出推动中央企业实现全员、全级次、全口径薪酬管理。
  2. 工作路线图: 2024 年 9 月 30 日前,初步构建横向到边、纵向到底的中央企业薪酬管理信息系统。 2024 年 12 月底前,实现各级子企业薪酬管理全流程在线。 2025 年 6 月底前,全面建成国资监管一体化智慧薪酬管理系统。

02 案例解析 — 某央企人力薪酬方案

2024 年 7 月已接入二级单位薪酬 78 家,涉及员工 1 万人,每月员工薪酬数据 200 万,薪酬分析数据量 1000 万。到 2024 年 12 月需接入全部 400 多家二级单位薪酬,涉及员工 11.6 万人,每月员工薪酬数据 3000 万,薪酬数据每年将增长 3.2 亿。

当前问题

  1. 性能不足:MySQL 在千万级数据关联处理慢,报表响应数分钟级。

  2. 功能不足:MySQL 无法支持多维度综合统计查询分析需求。

  3. 影响业务:复杂计算占用大量资源,影响其他业务稳定性。

用数需求 灵活定义过滤条件

  • 支持按照人员基本信息、任职信息等维度过滤查询;支持按照薪资项目金额过滤。

  • 如:查询 2024 年 1 月份至 6 月份,年龄超过 40 岁,职级在 M5 以上的员工的薪资明细。

支持各维度分类汇总

  • 支持按组织、部门、成本中心、薪资期间进行分类汇总。
  • 如:多期间查询时,按薪资期间汇总,且每月一行显示汇总。

按组织层级、部门层级汇总

  • 支持按照组织层级或部门层级汇总,汇总某层级及包含下级的数据。
  • 如:查询所有一级部门的汇总数据。

对组织/部门等维度进行求和/平均/计数等统计

  • 支持按照组织层级或部门层级汇总,汇总某层级及包含下级的统计计算。
  • 如:查询所有一级部门,各薪资项目的平均值

现有架构问题分析

MySQL 使用分析

  • 性能分析

    • 现有业务库采用 MySQL,1600 万的数据查询用时 72s,按该性能评估,单月 2000 万薪酬数据的查询需要 1min30s 以上,通过分表优化后,性能得到部分提升,但仍无法支持未来灵活查询报表的性能要求。
  • 行业实践分析

    • 从行业使用分析,MySQL 适用于数据量 300GB 以内,数据行数在千万以内的场景下,可以作为一般的业务库;高于 300GB 的场景里,MySQL 因无法满足性能及稳定性的要求,而推荐引入数据分析库来达到快速分析、灵活查询的需求。

03 YMatrix 解决方案

基础架构

加解密方法

加密算法

encrypt(data, psw, 'cipher-algo=sm4')

data 所需加密的数据
psw  加密密钥
cipher-algo 加密算法

解密算法

decrypt(data, psw, 'cipher-algo=sm4') ;`

data 所需解密的数据
psw  解密密钥
cipher-algo 解密算法

YMatrix 部署架构

支持数据量

  • 从业务数据增长测算,每年预估容量 256GB,三年为 768GB;按 50% 系统空间利用率计算,则需要空间 1.5TB;根据数据安全规则存储一个副本,因此需要容量 3TB,可保障未来 3~5 年的业务使用。

扩容能力

  • YMatrix 可以随着数据节点扩容,数据量和容量都可以线性提升,例如当前数据节点为 3 台,新增 3 台同配置机器,扩容至 6 台,存储容量提升一倍。

国产化信创说明

  • YMatrix 支持全栈国产化:OS(麒麟,统信 UOS,OpenEuler,龙蜥等),CPU(海光,飞腾,鲲鹏等)。

可支持最大查询范围

  • 结合前后端配置,以及业务数据量,工具可支持查询的最大行数为 40 万,因此,建议一次性查询的数据量控制在 40 万行左右。约为一个公司两年的数据量。

应用结果

  1. 资源环境:1master (16c 64GB)、2segment (32c 128GB)

  2. 应用场景:

  • 场景一:

    • 时间:2024 年 6 月
    • 发薪方案:全部薪资方案(9 个)
  • 场景二:

    • 时间:2024 年 1 月 - 2024 年 6 月
    • 发薪方案:控股全体方案-工资薪金;集团全体方案-工资薪金
  • 场景三:

    • 时间:2024 年 1 月 - 2024 年 6 月
    • 发薪方案:全部薪资方案(9 个)
  1. 应用结果对比:

  2. 大数据量场景应用结果:

04 方案效益

方案应用

  1. YMatrix 承载薪酬大数据, 库内内置了国密 SM4 的加解密能力,支持实时查询、多维分析查询,提升系统查询响应效率。

  2. YPipe 支持数据从业务侧发生,实时传输到YMatrix中。

客户收益

  1. 报表响应快:YMatrix 具备数据分区能力,适用大数据量多维度分析查询的业务场景,可实现报表查询的秒级响应。

  2. 数据安全性增强:数据安全性高,YMatrix 数据库内置 SM4 加密标准,满足人力薪酬数据的加密存储需求。

  3. 数据迁移文档:YMatrix 提供专业的数据迁移工具,迁移过程可减少对业务系统的使用影响。