超融合助力“制造业数据湖仓平台”

2022-10-24 · YMatrix Team
#案例实践

概述

2021 年底,YMatrix 与国内某头部动力电池制造⼚商达成合作,助力其完成“制造业数据湖仓平台”的升级建设。该系统用以支撑全球电池溯源追踪、生产制造及售后运营分析等多项核心查询业务,其中单表的平均数据规模超百亿级。

在项目中,YMatrix 超融合数据库完成对原有 Greenplum 集群的替代:一方面承载由 ERP、MES 产生的传统关系型业务数据,使业务查询性能及作业效率显著提升,查询耗时最高缩短 79%,同时使系统稳定性及运维效率也得以大幅提升;另一方面,面向新兴的物联网业务,提供 PB 级数据存储能力,支持亿级每秒的写入性能,支持乱序、延迟等复杂写入,原生支持聚合、窗口等复杂时序查询。整体上,依托 YMatrix 的跨模态融通管理能力、全场景查询能力及库内 AI 能力,整个系统可不断敏捷延展,以支持更多的数据场景,查询分析运作效率更高。

在帮助集团侧完成改造的同时,项目也通过在分支工厂部署 YMatrix 集群,构建可支撑多系统的工厂统一数据基座,实现数据平台的云边协同架构,帮助客户建立起“集团总部-工厂分支”的总分数据管理体系。在业务规模不断高速增长的情况下,大幅缓解总部集群的负载压力。

业务和技术痛点

1. 现有数仓集群遭遇性能瓶颈,功能缺失且维护复杂

目前 Greenplum 集群所承载的“全球电池溯源系统”是面向上下游合作伙伴开放的在线业务,但由于现有集群性能有限,在达到一定量级的并发连接下,会出现系统卡顿,甚至无法访问的情况。同时,当遭遇线上紧急需求时,如数据报表、紧急事件溯源分析等,系统作业效率有限,查询缓慢,甚至引发客诉。而且,为了保障系统的稳定运作,又需要较频繁进行定期维护,维护期间整个集群不可用,数据无法查询,对外业务中断,这也更进一步影响了整个平台的使用体验。现有 Greenplum 集群使用中的主要问题有:

  • 集群 CPU 使用率长期维持在高位(超 95%),导致计算和查询作业长时间排队,致使业务间歇性卡顿;
  • 在高并发场景下,查询性能下降严重,TPC-B 查询低于单机 PostgreSQL;
  • 部分大型报表一般都需要等待 30-40 分钟才会出结果,影响业务使用体验;
  • Greenplum 集群在扩容进行数据重分布时,会出现大量的锁等待,一般需要等待至少 72 小时,长时间停机干扰业务正常进行;
  • 数据规模持续增加,但分层储存与计算需求无法得到满足;
  • 功能上不支持时序数据查询分析、存储过程、表级锁锁粒度、、行级安全控制、upsert 等功能 ,单表聚集需要手动刷新;

2. 时序场景承载力及功能有限

在该集团的产线中,除了由常见的 MES、ERP 系统所产生的关系型数据,还有由数采单元面向设备、物料和流程采集到的时序、GIS 等类型数据,比如涵盖近百个指标的生产制造设备工况数据、已售出电池运行数据以及历史维修数据等。目前架构中是通过 MySQL 和 Greenplum 来承载时序数据,但 MySQL 及 Greenplum 并不具备专门针对时序场景的强化特性及功能,数据承载力和查询能力都十分有限:

  • 写入性能:无法承载超大设备带来的海量数据写入负载;
  • 写入功能:无法支持动态、乱序、延迟写入,以应对复杂工况下的数据产生环境;
  • 查询能力:点查询性能有限,没有窗口查询、库内机器学习等。

3. Hadoop 开发成本高且运维复杂,大数据平台运行效率及性能受限

在实际业务中,各系统各类型的数据将被综合利用,以判断生产和运行中的真实情况,并基于此,对生产设备预测性维护,生产工艺优化、产品运营告警等业务提供数据洞察支持。

客户曾尝试通过 Hadoop + 专用数据库的方式:第一步扩展对新数据场景(如时序)的支持,第二步在此基础上基于 Hadoop 构建大数据平台,以支持数据的综合分析需求。

但是,不断叠床架屋的引入专用系统来应对新场景,将造成系统整体复杂度的几何级数增长,致使后期维护迭代的成本飙升;同时,Hadoop 技术栈本身的自研门槛高,后期的运营维护、迭代开发以及使用操作都比较复杂,并且集群性能有限。

4. 数据量倍数增张,总部中心集群负载压力大

目前,该集团在全国拥有 20 多家子公司,每一家子公司的产线系统都需要高性能及可靠稳定的数据管理系统。在未来的 2-3 年内,预期整个集团将持续以倍数级扩充产能,产线数据量将翻倍增长,对数据管理的承载力、效率、成本和易用性都提出了更高标准。

目前所有数据直接进入总部,对总部集群造成很大负载压力。除了持续扩容外,在不增加太多运维复杂度的基础上,客户迫切希望建立一套总分结合的“总部(云)+工厂(边)”协同架构,在增强整体数据承载能力的同时,也优化各子公司的数据平台能力,实现对整体数据管理与治理能力的升级。

解决方案

1. 承建制造大数据平台数据湖

  • 承载传统业务关系型数据,实现性能大幅优化:

由 YMatrix 替换 Greenplum 承建数据湖,对接产线 MES 系统( SAP HANA ) 及 ERP 系统(Oracle),用于将生产电池的一系列物料、用料、流程、设备等数据进行整合归集,并承载电池用料查询、生产流程步骤查询等业务分析作业。

替换 Greenplum 集群后,查询作业时间最高缩短 79%,系统 CPU 占用率明显下降,集群整体规模缩减超 30%, 提供图形化的在线扩容方案,业务持续性得到明显改善。

  • 承载时序数据,补全完整的时序场景分析能力,实现多模数据统一管理及复杂分析查询:

YMatrix 替代 MySQL 承接产线设备产生的运行状态时序数据: 1)承载高并发、大规模的时序数据写入 2)在产线复杂工况环境下,支持数据乱序、延迟写入,支持 ACID 以确保数据完整性; 3)提供明细查询、聚集查询、窗口查询、关联查询、多维查询等高级时序查询能力; 4)与 MES、ERP 系统(关系型数据)实现数据融通,在数据湖内实现数据的跨类型联合分析,而无需再并行建设专门的技术栈; 5)可进一步扩展 GIS、JSON 、图数据、视频/图像等多种数据类型,为支持更多数据场景奠定统一支撑平台; 6)提供库内 AI 能力,支持在湖内进行机器学习的建模及推理运算。

2. 承建分支工厂数据基座,拓展云边协同架构

YMatrix 同时已完成在分支工厂的部署,作为分支工厂的独立数仓平台,承载工厂的 MES、ERP、PLM 等各系统数据,完成这些生产数据在本级的数据归集,同时进行预处理查询分析,筛选出符合总部需要的数据后在上传总部集群。

新构建的总部(云)和工厂(边)协同架构,在强化本地数据就近处理分的能力之上,有效降低了集团集群的负载,为后期业务的长期稳定运行及良性扩展奠定架构基础。

3. 承载售后大数据分析系统

动力电池售后数据分析业务,需要对接来自外部整车厂回传的电池运行数据(电压、电流、温 度、充放电等指标),并汇总内部的生产数据进行综合分析,最终输出电池的运行分析报告,评估电池健康度,预测并提示故障概率,并反馈生产工艺的调整是否取得预期效果等。

售后大数据分析系统原采用 Kafka + MySQL + Flink + Spark 架构来,通过 MySQL 节点承接电池时序的写入和存储,然后将数据拉入独立的 Spark 集群中执行分析计算。

此次项目通过 YMatrix 架构替代了 Spark 及 MySQL 集群 ,通过 YMatrix 中的专用接入组件 MatixGate 自动消费 kafka 数据(无需 Flink ) ,将数据存放在 YMatrix 中,并通过库内 AI 能力在 YMatrix 库内完成建模计算(同样支持通过 Python 建模)。

整个数据流转的过程全部发生在 YMatrix 集群内部,大幅简化系统架构,且性能大幅提升,集团某分支工厂内的电池健康状况分析报告产出性能提升 10 倍。

项目收益

1. 性能大幅提升,为应对业务量大规模扩张奠定基础

用 YMatrix 替换现有 Greenplum 集群后,解决了目前集群性能不足、扩容服务器速度耗时长、报表查询等待过久等各项问题。原有平台⼀万 SFC 溯源查询平均耗时 509.26秒,新平台等量查询耗时78.1秒;原有平台五万 SFC 溯源查询平均耗时 2156.67秒,新平台等量查询耗时 453.57秒,为平台支撑的各项业务服务体验提供充沛的性能支撑。

同时,通过搭建更科学经济的“总部(云)+工厂(边)“协同架构,减少数据传输成本的同时,降低因组织结构庞大、产能持续壮大给总部集群带来的压力。

2. 扩充场景,提效融合分析,为数智化创新提供新一代通用数据基座

通过 YMatrix 超融合数据库,支持多模态数据的全场景查询分析需求,能够服务企业级用户未来 5-10 年可能存在的需求,帮助客户避免了产品叠加、或技术架构反复调整带来的技术风险和不必要成本。

3. 数据管理成本获得有效控制

集群规模节省超30%:在为⼤数据平台带来了上述优化与新功能的同时,在保证性能满⾜需求的前提下,使得客⼾每年在资源上的成本开销减少了⾄少30%。

节约对新产品、新架构的学习成本:YMatrix 研发团队是原 Greenplum 产品的完整建制团队,承袭了 Greenplum 分布式数据库产品的技术积累,为客户从 Greenplum 迁移和新架构学习提供了效率和便利。

4. 更友好的使用体验,大幅降低运维复杂度

YMatrix 提供大量图形化及自动化的运维能力,包括:在线扩容、自动数据平衡、数据生命周期管理、运维监控等,帮助用户降低操作门槛、获得更好的使用体验以及更加自动化的作业能力。

同时,YMatrix 通过数据超融合能力大幅精简了系统架构,也从根源上降低了运维复杂度,运维人员需要管理的技术栈变少,需要应对的底层技术问题更少,工作更加专注,作业更加高效。