400-800-0824
info@ymatrix.cn
400-800-0824
info@ymatrix.cn
400-800-0824
info@ymatrix.cn
400-800-0824
info@ymatrix.cn
400-800-0824
info@ymatrix.cn
YMatrix 文档
关于 YMatrix
标准集群部署
数据写入
SQL 参考
MARS2 存储引擎主要是面向数据高速加载和查询而设计的,其内部采用有序存储省却搜索。
MARS2 表与 MARS3 相同,也采用 LSM Tree 结构存储。
MARS2 内部原理图如下:
我们将以概念逐层剖析的形式来解读上图。
COLLATE C
能够加速排序。mars2_automerge_threshold
),触发 L0 合并,将 L0 所有的 Runs 合并为一个 Run。level0_upgrade_size
),则将其升级到 L1。level1_upgrade_size
),则触发合并,L1 的所有 Runs 合并为一个 Run。level1_upgrade_size
),则将其升级到 L2。首先创建 matrixts
扩展:
=# CREATE EXTENSION matrixts ;
显式声明记录最小最大值。
=# CREATE TABLE metrics (
ts timestamp ENCODING(minmax),
dev_id bigint ENCODING(minmax),
power float,
speed float,
message text
) USING MARS2;
创建 mars2_btree
索引。
=# CREATE INDEX ON metrics
USING mars2_btree (ts, dev_id);
同 MARS3。
INSERT
写入到内存中,之后经历这些过程,生成一个 Run。TRUNCATE
分区表完成。在已创建 matrixts 扩展的前提下,最简洁的建表方式,只需要在 CREATE TABLE 语句加上 USING
子句,并创建索引即可。延伸示例请见表设计最佳实践。
=# CREATE TABLE metrics (
ts timestamp,
dev_id bigint,
power float,
speed float,
message text
) USING MARS2;
=# CREATE INDEX ON metrics
USING mars2_btree (ts, dev_id);
注意!
下述内容中表级配置项,指的是只能在创建数据表时使用WITH
子句配置,适用于单表,且一旦配置便无法修改的配置项。全局配置项指的是可在会话或系统级别配置,系统级别的修改需要执行mxstop -u
才能生效的配置项。更多信息请见 数据表配置参数。
以下几个参数用于控制合并(Merge),其影响合并的方式见上文 Level 部分。
合并控制参数 | 单位 | 默认值 | 取值范围 | 描述 |
---|---|---|---|---|
mars2_automerge_threshold | run | 32 | 10 - 2048 | 用于控制 所有 的 MARS2 表,L0 达到多少个 Run 触发合并,为全局配置项。如果要为表单独指定可以使用表选项 level0_merge_threshold |
level0_merge_threshold | run | 32 | 1 - 2048 | 用于控制单表 L0 达到多少个 Run 触发合并,为表级配置项 |
level0_upgrade_size | MB | 25 | 1 - 10000 | 控制单表 L0 -> L1 升级的大小,当 L0 发生合并后结果 Run 超过这个大小将升级到 L1,为表级配置项 |
level1_upgrade_size | MB | 1000 | 1 - 10000 | 控制单表 L1 -> L2 升级的大小,当 L1 发生合并后结果 Run 超过这个大小将升级到 L2,为表级配置项 |
以下参数用于压缩控制,调节压缩效果,如果配置过低压缩效果不明显,配置过高消耗内存较多。
压缩控制参数 | 单位 | 默认值 | 取值范围 | 描述 |
---|---|---|---|---|
compress_threshold | 元组 | 1200 | 1 - 100000 | 压缩阈值。用于控制单表多少元组(Tuple)进行一次压缩,是同一个单元中压缩的 Tuple 数上限,为表级配置项 |
以下参数用于内存控制。这部分参数控制插入数据时,使用的排序内存的大小,当有多张分区表被插入时,每个分区表会分配 mars2_sort_mem_core
配置的内存;如果不够用则扩大,但总量不会超过 mars2_sort_mem
。
排序内存参数 | 单位 | 默认值 | 取值范围 | 描述 |
---|---|---|---|---|
mars2_sort_mem | KB | 2097152KB(2GB) | 128KB - 2147483647KB (~ 2048GB) | 控制每一个单个插入的排序内存大小,如果插入目标表是分区表,它们将共享这个大小,为全局配置项 |
mars2_sort_mem_core | KB | 16384KB(16MB) | 128KB - 2147483647KB (~ 2048GB) | 控制每一个单个分区表至少分配多少排序内存,为全局配置项 |
表配置项示例:
=# CREATE TABLE metrics (
ts timestamp,
dev_id bigint,
power float,
speed float,
message text
)
USING MARS2
WITH (compress_threshold=1200,level0_merge_threshold=32);
=# CREATE INDEX ON metrics
USING mars2_btree (ts, dev_id);
全局配置项在会话级别修改值示例:
=# SET mars2_sort_mem TO 2097152;
全局配置项在系统级别修改值示例:
=# gpconfig -c mars2_sort_mem -v 2097152
=# \q
$ mxstop -u
HEAP 是 YMatrix 的默认存储引擎,又称作堆存储,从 PostgreSQL 继承而来,只支持行存储,不支持列存储及压缩,支持分区表。它基于 MVCC 机制实现,适用于有大量更新、删除需求的场景。
MVCC(Multiversion Concurrency Control)机制通常被称为多版本管理。它的核心是对数据的更新、修改和删除处理。
多版本管理中,数据的更新和删除并不一定会在原数据上进行修改,而是需要创立一个新的版本,把原数据标记为失效的数据,再在新版本上增加新数据,数据具有多个版本。每个数据带有一个版本信息,且历史版本均会被保存。
在 MVCC 机制影响下,HEAP 表在处理更新和删除操作的时候,并没有真正删除数据,而只是依靠数据版本信息屏蔽了老的数据(控制了数据的可见性)。因此,HEAP 表大量进行更新或删除操作,占用的物理空间会不断增大,需要你有计划地定期清理老数据。
你可以运用以下 SQL 语句在 YMatrix 中创建一个 HEAP 表。
=# CREATE TABLE disk_heap(
time timestamp with time zone,
tag_id int,
read float,
write float
)
DISTRIBUTED BY (tag_id);
以 AOCO、AORO 为存储引擎的表统称为 AO(Append-Optimized)表,又称作追加优化表,可以支持插入、更新与删除操作,支持压缩。
AORO 支持行存储,AOCO 支持列存储。
AO 表无论是在表的逻辑结构还是物理结构上,都与 HEAP 表存在很大的不同。如上节所述 HEAP 表使用 MVCC 机制控制更新及删除操作后数据的可见性,而AO表则使用一个附加的 bitmap 表来实现,这个表的的内容就是表示 AO 表中哪些数据是可见的。
对于有大量更新及删除操作的 AO 表,同样需要计划地定期清理老数据,不过在AO表中,清理数据工具 vaccum 需要对 bitmap 进行重置并压缩物理文件,因此通常比 HEAP 进度慢。
注意!
MARS2、HEAP、AO 存储引擎详细信息、使用及最佳实践请见表设计最佳实践