YMatrix 超融合数据库 All-in-one 能力,如何为智能制造场景提供高效互联互通能力

2022-09-07 · YMatrix Solution
#案例实践#解决方案

业务场景

公司在大规模产品的生产场景中,各个工业软件因针对性的需求所生,如 PLM、MES、ERP 等,是各自独立的系统。如果将产品的生产行为比作人的身体,那其中的各个生产系统就是人身上的器官。如果工厂内所有的系统各自为战,就好比人身体的大脑出现了问题,各个器官独立工作,眼睛看到的机会是无法传递给手脚做出响应的。智能制造的决策人与执行者们需要一个信息高速交互、快速识别关键节点进而从整体上提高效率的工厂级、甚至是公司级的智能制造解决方案,这就是工厂大脑的概念。

在实际执行层面,各系统的负责人不同、供应商不同、底层的数据定义也不尽相同,相互之间的互联互通很难实现。当这些系统之间需要联动与合作时,只有借由大量的人力编写消息中间件,甚至是通过人工的方式导出报表再进行手动分析来实现。这不仅带来了消息同步上很大的投入,也降低了信息获取的效率,甚至不可避免的出现疏漏和错误。 工厂大脑最大的意义在于打通工厂内部的诸如 ERP、SCM、APS、WDS、MES、IoT 等系统,去系统边界化和消除模糊地带,将产品整个生命生产周期中多领域之间的协调合作完全无人化,帮助生产型企业“智能制造”的完美转型。同时,作为大规模的生产型企业,公司在不同的地区设定了多个生产基地,工厂大脑的设计中不单要考虑云端能力建设,也要考虑数据在各生产基地的各信息化系统与总部间的高效互联互通。

客户关心:

物料满足情况、生产进度是否正常等信息的高效交互 快速的定位生产流程的关键节点、发现潜在风险

业务痛点

除了在公司内部的组织架构调整工作,实现工厂大脑的底层保障是数据的高效互联互通。这需要统一的元数据管理与统一的数据模型,而满足二者的最佳实践就是通过一个数据平台来承载所有的数据,再通过接入上层应用来实现各个系统的功能。企业在实现统一数据平台的过程中面临几方面的挑战:

  1. 数据规模大:工厂大脑需要将所有系统的数据汇集在一起;
  2. 统计与分析复杂多样:为应对不同的场景,需支持不同的分析方法;
  3. 高效的存储与处理:存储与处理的高效意味着资源使用成本的降低与生产效率的提升;
  4. 数据类型的兼容:工厂大脑需要兼容IOT设备中产生大量的时序数据,PLM等协同系统中的文档型非结构化数据以及MES等生产管理系统中的结构化数据等。
  5. 云边协同:如果各生产基地所有数据都上传到云端进行处理, 会对数据中心造成巨大的压力, 为分担中心云节点的压力,需要各厂区的边缘计算节点可以负责自己范围内的数据计算和存储工作,而中心和厂区间需要一致和协同的底层数据平台。

解决方案

以 All-in-One 时序超融合数据库 MatrixDB 为主体的工厂大脑大数据平台架构如下图所示,分为如下三层:

  1. 数据加载:通过MatrixGate高效批量的从数据源头获取数据并加载入MatrixDB中。数据源头包括Oracle、MySQL、SQLServer等各类工厂现有系统数据库,Kafka等消息中间件以及IOT传感器数据。
  2. 数据分析:基于统一的数据模型编写并运行各类算法,通过任务调度实现实时计算与定时报表等功能。所有算法的数据从MatrixDB集群获得。
  3. 数据应用:基于算法结果,通过BI报表、移动应用、前后端应用等形式为管理人员以及使用者提供人机接口;通过机器学习算法来进一步挖掘生产流程中的潜在规律

方案优势

MatrixDB 是一款性能卓越的 All-in-One 超融合时序数据库产品。帮助企业在数字化转型的过程中从数据接入与数据治理中摆脱出来,专注于行业本身的智能化建设。安装数据库后,通过企业的统一规划,可以对原有的主要应用系统进行集成和数据接入层面的全面打通。再整合现有的各业务系统和工业自动化系统,最终形成具有工业物联网和易用性与高效率的数据库。通过超融合数据库架构范式,打破数据孤岛,增强实时分析,为企业降本增效提供坚实的数据平台支撑。具体的,MatrixDB具备如下优势:

  1. 持续稳定的海量数据存储与云边协同支持 基于MPP数据库架构实现,性能与存储可线性扩展,支持在线扩容,最大支持数百台规模的集群 最小支持单机部署,可作为边缘端部署,保证云端与边缘端的数据平台一致性 所有数据操作受到数据库的事务保障,保证正确性
  2. 低成本高效存储空间高效存储布局,保证同一辆车一段时间的数据紧密存储,数据局部性好 在数据局部性基础上,提供时序优化的编码技术和压缩技术,编码技术包括增量编码、面向浮点数优化的 Gorilla 编码等。压缩技术包括 LZ4 压缩,ZSTD 压缩等
  3. 高性能查询对于明细查询,优化的存储空间可以降低 IO 开销,并行查询引擎充分利用集群 CPU 资源,提供低延迟的明细查询 随着查询需求的不断演进,MatrixDB 还可以在明细查询外,提供更多增量功能,如聚集查询,多维查询,多表关联,高级语言分析(Python/R/Java),以及联邦查询(Hadoop 生态等)等,同时满足丰富的功能需求和性能保证。
  4. 广泛的类型兼容基础数据:文本数据、关系数据 时序数据:时间序列数据,带有时间戳的一系列结构化数据 空间数据:地理位置或者轨迹数据,点、线、多边形等 半结构化数据:JSON/XML 类型、KV 类型 复合类型:数组等 自定义类型
  5. 完善的企业级功能数据生命周期管理:MatrixDB提供灵活的数据生命周期管理策略,基于按时间分区的分区表,可以定义数据过期时间,定时触发,回收存储空间 数据安全:提供多种加密方案,可以保证数据在磁盘和网络传输中的安全性 完善的运维监控机制:自动化安装、部署、运维,提供集群以及数据库内部资源的监控管理

案例与效果

2021年11月,MatrixDB 帮助某公司完成了总装生产线的智能制造改造工作。通过统一的元数据与统一的数据模型来管理所有系统的数据定义,实现了 ERP 系统和 MES 系统的全部数据清洗和标准化接入工作。同时,基于 MatrixDB 卓越的时序数据特性,实现了裁切机和数控机床等 IOT 设备的时序数据接入。通过边云协同的方式接入了安吉与越南两个主要的生产基地,实现了新形态下的生产管理闭环。实现了博泰公司生产系统和管理系统的数据融合,解决了长期存在的数据孤岛问题。依赖于 MatrixDB 优异的特性,客户在平台的新版本上线后取得了显著的效果,主要包括以下几个方面:

多系统联合分析

消息传递周期的加快大大提高了生产效率、降低了不必要的成本的同时,为基于多方融合数据的进一步创新提供了可能。以工人的考评体系为例,由于接入了 MES、ERP 和工厂 IOT 系统,所有工作人员操作设备的表现与操作人员挂钩,系统可以更准确的自动化生成对人的基本评价。生产基地与总部建立了更紧密的联系,所有原生产系统的中需每日汇报同步的信息改为管理者线上实时查看与按需预警,周报报表内容实现了每日汇总。

运维人力投入降低

平台的维护不需要同技术栈的庞杂知识体系。MatrixDB 贯彻“把复杂留给数据库”的理念,很多负载均衡、高可用机制等属于集群的复杂内容会在底层完成。不需要进行复杂繁琐的操作来保证集群的稳定,使客户可以更关注于业务本身。

快速部署

不同于现有的各类分布式系统技术栈,MatrixDB 提供图形化的部署页面,把复杂的节点资源调优命令和集群配置参数做成类似于应用程序的引导式安装。方便在智能制造场景下的复制与推广。

集群规模节省 为大数据平台带来了上述优化与新功能的同时,在保证性能满足需求的前提下,集群规模比原本计划中的投入大大降低,为企业在智能制造转型中进一步节省了成本

总结

事实证明,工厂大脑链接了数据的孤岛,打破了原来部门各自为政的局面。让生产决策过程当中用数字说话成为了可能。在产品质量方面,在降低能耗以及数字集成等方面,工厂大脑对企业管理提供了很大帮助,也给企业管理决策者提供了数字化依据。All-in-One 超融合时序数据库 MatrixDB 基于优秀的时序、分析与分布式特性,完美的契合了工厂大脑的使用场景,是企业在智能制造转型中最佳的数据解决方案。