随着全球汽车市场逐渐向新能源方向倾斜，汽车电动化已经成为全球趋势。但仅仅实现能源转型还不够，在互联网的加持下，用户对于驾车体验也存在变化。车企对于用户个人的风险管理、体验优化等方面的管理也愈发重要。作为连续十二年进入《财富》世界 500 强，某车企致力于为用户提供更加智能、更加个性化的汽车驾驶体验。而要实现这些，则需要对大量用户所产生的数据进行多维度分析。

数字化体系的核心，就是掌握关键生产资料的内部数据体系。因此，某车企选择 YMatrix 超融合数据库替代 Hadoop 体系来作为集团内部分析海量数据的数据核心，在梳理、简化自身内部架构的同时，进一步提升针对海量数据的写入与查询能力，满足前端业务的多样化需求。

一、Hadoop 生态下的架构统一问题

相比于“电车”与“油车”之争，为用户带来最直观体验感受的，则是汽车自身的智能化改变。

1. 某车企自身的业务特点

2022 年，某车企全年销量同比增长 8%，营收仍处于增长状态，同比增幅达到 45.6%，并创下历史新高。在营收屡创新高的同时，也随之产生了大量的数据。而在这些数据的背后，是一辆辆真实行驶在公路上的汽车。在数据看板中每辆车各自展示出的特点，是由每一位驾驶员不同驾驶习惯所造就的。但每一辆车所产生数据指标高达上百种，如何将这些数据收集起来并“分门别类”的整理好来供人使用，这也让某车企的原数据治理体系犯了难。

一方面，传统车企在数据治理、分析层面，具有着 ToB、ToC 的双重属性。ToB，即将数据分发给下层的各个经销商和 4S 店，需要将数据形成报表，为供应商提供销售决策；ToC 则是直面用户和后台研发同事，为用户提供更加个性化的智能驾驶体验。

另一方面，数据类目多、需要针对性分析。由于某车企旗下存在多款品牌，车辆数目庞大，如果要做到数字化经营，需要对每辆车的数据进行分类整理。但是如此大体量的数据，对车企内部的数据架构提出了非常高的要求。

2. Hadoop 体系在某车企业务生态当中的不足

此前，某车企内部使用 Hadoop 体系来进行数据治理，使用 HBase 进行数据存储和明细查询，实时分析使用 Flink 流式计算，离线分析使用 Spark 进行计算。但这样的组合，在过去业务对数据需求不紧急的时候还能够运转。一旦数据体量膨胀起来，业务对数据分析实时性要求逐渐偏高的时候，相对复杂的 Hadoop 体系就显得有些不合时宜。

• 能力单一，面向新业务的支持力度不足

两种完全不同的数据消费方式，使得某车企内部过去的数据架构体系较为复杂。然而随着数据量的增加，以及业务对数据分析能力的新需要，如在线快速分析、存算分离或者 AI/ML 等面向人工智能与机器学习方面，HBase 难以支撑起用户对于性能及实时性的迫切需求，复杂的 Hadoop 生态体系的缺陷开始在实践中逐渐被暴露出来。

• 数据采集效率无法满足场景需要

目前某车企使用 100 台 Hbase 进行存储，每 10 秒一次采样数据，单行 4-6k，目前线上业务每分钟 100 万行数据写入，无法支持更高的数据频率收集。

• 数据分析能力无法支撑车企集团全面分析

某车企对于数据的分类非常多，如充电时长、充电次数、行驶里程、聚集车辆、离线车辆、车辆行驶数据、实时车况、行驶轨迹、车辆故障、电池温度等等。某车企需要数据库能够整合这些数据，对数据进行统一的消费和分析，以供相关人员随时查询。

• 数据写入场景复杂

全球各地每时每刻都有相当一部分数量的汽车处于行驶状态，其产生的数据需要 24 小时不间断写入到数据库中。此外，数据写入所面临的问题不仅仅是数据规模大、来源形式多样化，还包括一些复杂的异常情况，如汽车进入无信号区后行驶数天，进入有信号区域时会恢复上报链路。这种延迟常常可以按照天来计算，甚至可以按照周来计算。Hadoop 对于常用时序分析函数的支持性较差，写入速度很慢，十分不利于某车企集团对于当下业务发展情况的掌握。

面对庞大且频繁的数据变更，某车企应如何保证数据的准确性和实时性成为一项艰巨的任务。此外，随着数据量的不断增加，如何快速、高效的处理和分析这些数据成为另一个亟需解决的问题。为将这些数据进行整合处理，某车企需要一套具备统一数据管理、查询、写入的数据管理平台，为内部研发运维、外部供应链平台提供全站的研发和运维能力。

因此，某车企集团对于数据治理体系的要求，既要在宏观层面能够掌握产业侧和消费侧的趋势走向，也要细致到个人，以数字化能力为每一位用户提供极致的数字化服务。

二、以 YMatrix 替换 Hadoop 数据生态，打造高效、简洁、高性能的一体化数据体系

在 YMatrix 和 Intel 的联合测试报告数据显示，在标准的数仓 TPCH 测试场景中，YMatrix 在 2048 范围测试中，22 条 SQL 可以在 14 分 14 秒内完成，是 Hadoop Hive 数仓架构的 23 倍，可以更好的满足复杂关联分析场景。

替换 Hadoop 生态的好处显而易见，YMatrix 不仅替代了复杂的技术栈组合，更大幅简化了某车企内部的运维流程，实现高效的一体化数据管理和处理，消除各数据源之间的数据流转、交互、同步等操作，大幅降低人力成本和时间成本。

打造分析一体化流程 通常情况下，车联网系统需要通过大数据分析、机器学习等技术对收集到的数据进行挖掘和分析，从而实现故障预测、资源优化等目标。在以某车企为代表的汽车制造与服务场景中，需要对车辆终端的运行数据进行实时分析，以此来预测设备故障、产品质量，提前采取维修措施，提高生产效率。

YMatrix 超融合数据库支持面向 OLAP、OLTP、HTAP、向量、时序等多种数据处理模式，将不同的数据处理模式统一到一个系统中，对传统结构化数据、非结构化数据、半结构化数据实现统一治理。同时 YMatrix 减少了生态内组件数量，降低架构的复杂度，简化了客户方在数据操作方面的操作，降低了人员要求，极大提升了业务响应的实时性。

在某车企场景中，过去由于数据链路较长，不同团队对于不同数据有着多样需求，因此对于数据处理的策略也不尽相同。而这种复杂甚至冲突的查询及写入策略，无疑会进一步加重数据库的压力。

YMatrix 通过优化过去不合理的复杂查询和历史数据的高频写入，将原先的 HBase（明细查询）- Flink（实时分析）- Spark（离线分析）流程包容至 YMatrix 体系中，接入数据后即可对相关指标进行特定分析，满足前端业务对于数据的多样化需求。降低因技术栈为数据库带来的压力，从而提升处理速度。

三、用 YMatrix 承接车机信号，实现从 100 万到 1000 万的性能飞跃

在这套系统中，YMatrix 共承载了某车企旗下等多款汽车品牌的相关数据。YMatrix 需要对这些数据做分类处理，并各自进行分析。

1. 打造高性能持续聚集查询平台

在某车企的业务中，企业监控看板上要求后台能够实时显示当前坐标、运行状态、电池情况等车辆信息，需要将数据的时间戳等信息实时反馈至平台，对于聚合查询的需求非常高。此外，不同的指标对于实时性的需求也有不同，需要数据库能够对多来源数据进行分类归纳，并在短时间内对相关数据进行针对性查询，这对数据库的查询性能有着极高要求。

而随着业务需要愈发紧急，后台进行聚集查询的执行频率越来越频繁，同时对聚集查询的响应时间要求也越来越高，就使得某车企需要对数据进行持续、精准的快速查询，而聚集查询这种方法显然已无法满足企业需要。YMatrix 通过创建持续聚集的方式，对不断流入的数据进行聚集处理，用户在数据写入过程中快速响应聚集查询，在首次查询后，后续系统只需对增量数据进行计算，极大提升了数据查询效率。通过将各阶段的结果进行汇总得到最新聚集值，YMatrix 还可以通过各个阶段值来实时反映数据的变化趋势，从而更好的来追踪和监控数据动态变化的应用场景。

但由于某车企内部数据指标种类繁多，有一些数据需要短时间内频繁更新，此时就需要依靠向量化能力，进一步增强对相关数据的查询能力。在 YMatrix 超融合体系中，结合向量化的优势，用户能够在每个节点上批量处理数据实现局部聚合，进而大大减少数据的传输量，从而进一步提升查询效率。结合持续聚集技术，可以用于实时监控车辆的行驶状态，动态计算路况、事故等信息，能够很好地为用户提供实时的数据支撑，对后台管理而言也可以实现数据监控。

2. 使用 YMatrix 替换 HBase，提升写入性能的同时节约存储成本

在某车企过去的业务环境中，系统每天写入 10TB 原始数据，每分钟写入 100 万行数据，单行存在 2 个大字段，单行大小 4-6k。但随着某车企旗下的汽车品牌逐步增加，所产生的数据量也随之水涨船高，日产生的原始数据已远高于 10TB 这个数字，且需要实时写入和查询。另外，某车企要求数据库能够存储近 2 年的数据，然而 HBase 自身对数据存储空间的利用率不高，导致某车企需要额外增加多台服务器来部署 HBase，极大增加了硬件成本。

基于此，某车企需要将 HBase 中存储的数据迁移到 YMatrix 中来。YMatrix MARS3 存储引擎支持压缩、列存、自动归档、预聚集等功能，尤其在以某车企为代表的车联网时序场景中表现更为优越。为节省存储空间，节约硬件成本，MARS3 可提供定制的压缩方案--编码链，启用编码链后可以对表进行细致、有针对性、定制化的深度压缩。

通过对某车企原有的数据进行压缩，YMatrix 最终将数据压缩为 9.35:1，这极大节省了硬盘存储空间。

随后 YMatrix 对数据的写入性能进行了优化，针对某车企较为复杂的数据采集场景，通过在几处关键的数据采集场景中针对性部署 MatrixGate，由于 MatrixGate 写入性能最高可达20万/s，轻松满足了当前场景下某车企对于数据写入的需求。

整体来看，YMatrix 通过将某车企内部的数据流程融合为一体，使数据之间的关联性更为明显，查询和分析的过程也变得更为直接和简单，帮助某车企集团成功实现了数据的集中存储和管理。最终 YMatrix 帮助某车企实现了大规模数据的实时导入和高速处理，使频繁且复杂的查询和写入需求得到了更好的支持，业务流程得以大幅简化，提升了数据处理效率。

经过测试，YMatrix 可以实现每分钟 1000 万行数据的写入，并确保单表查询响应时间在毫秒级别。此外在关联查询场景中，当未使用持续聚集视图响应时间在 10 秒左右的量级，使用持续聚集视图响应时间降低至 ms 级别。

四、以数字技术服务实体经济

对于一家历史悠久、企业文化厚重的车企而言，从“纯粹的驾驶体验”到“另一种智能生活方式”的转变，不只需要大量的数据来做支撑，也更加需要自上而下认同数字化理念。

某车企集团选择 YMatrix 作为其加速数字化转型的基座，正是践行这一理念、促进数字技术与实体产业相融合的关键举措。值得注意的是，此次实践，YMatrix 只接入了

集团内部的部分数据。接下来，某车企会将旗下更多汽车品牌的车机、新能源、车联网等各类数据逐步迁移到 YMatrix 中，并停用 HBase，实现从 Hadoop 生态到 YMatrix 体系的完美过渡。