国产化替代
文档
博客
新闻
关于我们
下载

YMatrix 文档

版本发布历史
系统需求

关于 YMatrix

快速上手

标准集群部署

数据建模

连接到数据库

数据写入

数据迁移

数据查询

运维监控

性能调优

故障诊断

参考指南

SQL 参考

常见问题（FAQ）

场景应用

车联网场景下的数据建模示例

本文档为“时序数据建模”章节的第三篇。YMatrix 认为，数据模型的设计会直接影响到数据消费与使用的价值。因此，除技术介绍外，我们尝试通过整个章节使你对时序数据模型（Time-series Data Model）的概念、应用及发展都有清晰的理解。

  • 首篇为“时序数据模型是什么？”，通过回答几个层层深入的问题，最终使你对时序数据模型概念本身有清晰的理解。
  • 第二篇“时序建模思路”将尝试从理论指导的角度给出 YMatrix 关系模型设计思路参考。
  • 第三、四篇为车联网场景（即此文档）及智能家居场景下的数据建模示例，以“时序建模思路”为指导，给出 YMatrix 中不同时序场景的建模最佳实践。

注意！
此篇仅为参考示例，正式设计建模前建议至少完整详读 YMatrix 架构及组件原理。组件原理见“参考指南”章节。

1 什么是车联网？

车联网是物联网（IoT，Internet of Things）的典型应用场景之一。 据中国香港应用科技研究院所述，车联网技术是指车辆与车辆、车辆与行人、车辆与道路基建以及车辆与云端之间的低时延通讯系统。通过车联网系统中的实时信息传递，实现人、车与道路基建互相协调配合，即时对道路使用者进行路况汇报与警示，藉以加强道路安全和辅助驾驶。同时，车联网技术可应用在实时交通监察、事故管理，和行车路线规划等方面以提高交通效率。长远而言，车联网能配合自动驾驶技术的发展，协助自动驾驶判断隐藏风险，提升道路安全。

车联网的主要分类如下表：

通信端 技术实现 应用场景
车辆与车辆 车辆与车辆之间实现信息交流与信息共享，包括车辆位置、行驶速度等车辆状态信息 判断道路车流状况
车辆与行人 用户可以通过Wi-Fi、蓝牙、蜂窝等无线通信手段与车辆进行信息沟通 使用户能通过对应的移动终端设备监测并控制车辆
车辆与道路基建 借助地面道路固定通信设施实现车辆与道路间的信息交流 监测道路路面状况，引导车辆选择最佳行驶路径
车辆与云端 车辆通过卫星无线通信或移动蜂窝等无线通信技术实现与车联网服务平台的信息传输 车辆接受平台下达的控制指令；云端实时共享车辆数据
车内设备之间 车辆内部各设备间的信息数据传输 对车内设备状态进行实时检测与运行控制，建立数字化的车内控制系统

2 车联网建模最佳实践

可以设想一下，假如你是一个车端应用研发人员，负责管理、维护你就职企业的车辆指标平台 A。现在，你想要就此平台的业务在 YMatrix 中进行建模设计，可能的思路如下：

序号 步骤
1 需求调研
2 建模设计与实施
3 模型测试

2.1 需求调研

  • 车辆指标平台 A 的数据特征：

    • 数据规模巨大：PB 级别。
    • 设备数量大：可能会出现上千台设备同时采集传输数据的情况。
    • 车端指标：比较固定但也需要有动态扩展指标的空间。
    • 指标值类型：
      1. int 类指标：以整数 0 - 100 表示 0 - 100% 的电量等。
      2. float 类指标：车辆累计里程等。
      3. boolean 类指标：展示左转灯开关状态等。
      4. text 类指标：设备唯一标识号等。

  • 车辆指标平台 A 的查询特点：

    • 主要为基于设备的点查及明细查询。

注意！
此场景的“设备”语义指每辆车辆上的不同传感器，每一个传感器称作一个“设备”。

  • 完整数据流：

车端预计算完毕的传感器数据 / 埋点数据 -> 云端 -> YMatrix -> 监控页面

结论
经过仔细、全面的前期调研，我们认为在 YMatrix 中，车辆指标平台 A 的指标确定性较高，但仍需要创建一个动态列，以备动态容纳新增或变化的指标。数据规模、设备数量大，应使用结构化+半结构化的宽表变式模型，选择压缩性能良好的 MARS3 存储引擎为基础建表。

2.2 建模设计与实施

2.2.1 表结构

据需求调研结果，表结构设计示例如下：

动态列可以选用 MXKV 数据类型，使用此类型需要首先创建扩展。

=# CREATE EXTENSION matrixts;
=# CREATE TABLE V2X ( 
    ts timestamp with time zone, 
    device_id text,
    vehicle_type text,
    longitude float,
    latitude float,
    altitude float,
    speed float,
    left_turn_signal boolean,
    right_turn_signal boolean,
    emergency_flashers boolean,
    power int,
    gas int,
    windshield_wiper boolean,
    mileage float,
    signal_strength text,
    power_mode text,
    control_mode text,
    charging_status text,
    mxkv mxkv_int4
)
USING MARS3
DISTRIBUTED BY (device_id,vehicle_type)
ORDER BY (device_id,ts,vehicle_type)
PARTITION BY range(ts)
(
 START ('2023-01-15') INCLUSIVE 
 END ('2023-01-30') EXCLUSIVE 
 EVERY (interval '1 day'), 
 DEFAULT PARTITION default_p
);

此示例中：

  • 标签为 device_id，vehicle_type 两列；
  • 指标为 longitude，latitude，altitude，speed，left_turn_signal，right_turn_signal，emergency_flashers，power，gas，windshield_wiper，mileage，signal_strength，power_mode，control_mode，charging_status 十五列；
  • 以上为结构化数据列，半结构化数据列则为 mxkv 列，用于存储动态扩展的指标及数据；
  • 指标类型为 int，float，text，boolean 四种；
  • 以 device_id，vehicle_type 作为分布键；
  • 以 ts，device_id，vehicle_type 作为排序键；
  • 以 ts 作为分区键；
  • 从 2023-01-15 至 2023-01-30 每一天为一个分区。

2.2.2 模型测试

序号 测试计划 SQL 语句
1 查看最新 10 条数据 SELECT * FROM <表名> ORDER BY ts DESC LIMIT 10
2 查询总行数 SELECT COUNT(*) FROM <表名>
3 查询某一设备最新上报的全部指标 SELECT * FROM <表名> WHERE <设备标签列名> = '<设备标签值>' ORDER BY <时间戳列名> DESC LIMIT 1
...

为结构化指标插入 100 条测试语句。

=# INSERT INTO V2X (ts, device_id, vehicle_type, longitude, latitude, altitude, speed, left_turn_signal, right_turn_signal, emergency_flashers, power, gas, windshield_wiper, mileage, signal_strength, power_mode, control_mode, charging_status)
SELECT 
    timestamp '2023-01-15 00:00:00+00' + (random() * (timestamp '2023-01-30 00:00:00+00' - timestamp '2023-01-15 00:00:00+00')) AS ts, 
    'device_' || (random() * 100 + 1)::int AS device_id, 
    CASE (random() * 3)::int 
        WHEN 0 THEN 'car'
        WHEN 1 THEN 'truck'
        WHEN 2 THEN 'motorcycle'
        ELSE 'others'
    END AS vehicle_type, 
    -180 + random() * 360 AS longitude, 
    -90 + random() * 180 AS latitude, 
    random() * 500 AS altitude, 
    random() * 100 AS speed, 
    random() < 0.5 AS left_turn_signal, 
    random() < 0.5 AS right_turn_signal, 
    random() < 0.5 AS emergency_flashers, 
    random() * 100 AS power, 
    random() * 100 AS gas, 
    random() < 0.5 AS windshield_wiper, 
    random() * 10000 AS mileage, 
    CASE (random() * 3)::int 
        WHEN 0 THEN 'low'
        WHEN 1 THEN 'medium'
        WHEN 2 THEN 'high'
        ELSE 'others'
    END AS signal_strength, 
    CASE (random() * 3)::int 
        WHEN 0 THEN 'normal'
        WHEN 1 THEN 'eco'
        WHEN 2 THEN 'sport'
        ELSE 'others'
    END AS power_mode, 
    CASE (random() * 3)::int 
        WHEN 0 THEN 'auto'
        WHEN 1 THEN 'manual'
        ELSE 'others'
    END AS control_mode, 
    CASE (random() * 3)::int 
        WHEN 0 THEN 'not_charging'
        WHEN 1 THEN 'charging'
        WHEN 2 THEN 'charged'
        ELSE 'others'
    END AS charging_status
FROM generate_series(1, 100);

测试结果：

  1. 查看最新 10 条数据
=# SELECT * FROM V2X ORDER BY ts DESC LIMIT 10;
              ts               | device_id  | vehicle_type |      longitude      |      latitude      |      altitude      |       speed        | left_turn_signal | right_turn_signal | emergency_flashers | power | gas | 
windshield_wiper |      mileage       | signal_strength | power_mode | control_mode | charging_status | mxkv 
-------------------------------+------------+--------------+---------------------+--------------------+--------------------+--------------------+------------------+-------------------+--------------------+-------+-----+-
-----------------+--------------------+-----------------+------------+--------------+-----------------+------
 2023-01-29 18:26:28.2555+00   | device_7   | others       |    77.7250493925452 | -71.44711665175421 |  470.3520368782552 |  10.08919814806859 | t                | f                 | f                  |    91 |  60 | 
f                | 3335.6115546297715 | medium          | others     | manual       | not_charging    | 
 2023-01-29 09:31:03.475343+00 | device_10  | truck        |  110.79930700971727 |  80.10310285177269 |  363.9362759505627 | 0.8470622257185312 | t                | t                 | f                  |    68 |  59 | 
f                |  8477.632404196207 | high            | normal     | others       | charged         | 
 2023-01-29 08:13:59.117597+00 | device_99  | truck        | -109.73747608981242 | -89.35249080260903 |  48.85333218970267 | 37.727205912382544 | t                | f                 | t                  |    31 |  36 | 
t                |  7473.970943404033 | high            | eco        | others       | charging        | 
 2023-01-29 05:58:26.571911+00 | device_46  | others       |    51.8998425853313 |  88.27679475399947 | 480.07287781433484 | 49.226744573126524 | f                | t                 | f                  |    42 |   4 | 
t                |  7143.216304908968 | high            | sport      | others       | not_charging    | 
 2023-01-29 04:15:40.989367+00 | device_40  | motorcycle   | -155.34683651071745 |  6.175953177055931 |  181.5449423808442 |  50.05742613215105 | f                | f                 | t                  |    85 |  87 | 
f                |  3206.801779860875 | low             | normal     | others       | charging        | 
 2023-01-29 00:00:25.771633+00 | device_100 | truck        |  151.84348070359067 |  61.94081118610583 |  79.71495904976855 |  37.50073341871314 | f                | f                 | f                  |    12 |  63 | 
f                | 3344.5220642645168 | others          | sport      | manual       | not_charging    | 
 2023-01-28 20:35:29.229556+00 | device_29  | motorcycle   |   -90.3624239076261 | -9.007833078214986 | 62.318822164742826 |  20.92006269193405 | t                | t                 | t                  |    27 |  97 | 
f                |  9388.986611159318 | others          | eco        | manual       | charging        | 
 2023-01-28 13:41:36.964772+00 | device_80  | car          | -18.009506474683548 |  64.13247721331942 |  452.8918234900896 | 19.506606969701323 | f                | t                 | t                  |    43 |  62 | 
t                |  9398.868263826578 | low             | normal     | manual       | charging        | 
 2023-01-28 11:12:06.491849+00 | device_55  | car          |     88.971600816884 | -10.29589404625213 |  372.6116487798965 |  68.00809686681362 | f                | f                 | t                  |    21 |  76 | 
f                |  430.6571575941476 | others          | others     | others       | charging        | 
 2023-01-28 09:24:02.536764+00 | device_5   | car          | -5.8755335883314785 | 14.557768126530704 | 351.21329889642715 |  9.202603983735003 | t                | t                 | f                  |     5 |  16 | 
t                | 1403.2798564383952 | others          | sport      | others       | others          | 
(10 rows)
  1. 查询总行数
=# SELECT COUNT(*) FROM V2X;
 count
-------
   100
(1 row)
  1. 查询某一设备的某指标的最新非空值

查询设备 5 的最新车速。

=# SELECT last_not_null(speed,ts) AS last_speed FROM V2X WHERE device_id = 'device_10' LIMIT 1;
                       last_speed                       
--------------------------------------------------------
 ["0.8470622257185312","2023-01-29 09:31:03.475343+00"]

在动态扩展列 mxkv 新增一个 MXKV 类型的指标 car_length，数据类型为 mxkv_int4，数据值为 350（单位 cm）。新增指标前，为了压缩与查询性能优化，需要首先利用 UDF mxkv_import_keys() 定义键值，来提前确定数据中包含的键值集合。

=# SELECT mxkv_import_keys('{"car_length": 350}');
 mxkv_import_keys
------------------
 car_length
(1 row)

插入这条数据。

=# INSERT INTO V2X(mxkv) values('{"car_length":350}');
INSERT 0 1

查询插入的此条键值。

=# SELECT mxkv->'car_length' as car_length FROM V2X;

注意！
MXKV 使用方法详见扩展数据类型。

注意！
在此只给出了简单的测试示例，更多场景测试示例见图形化界面 轻松上手板块。在实际环境中，请根据具体的查询需求设计具体的测试语句。