YMatrix 文档

使用压缩

本文档介绍了 YMatrix 中用于压缩的算法及其使用方法。

通用压缩算法

概念

通用压缩指的是压缩算法对数据内部的结构没有了解的情况下，直接对数据块进行压缩。这种压缩往往是根据二进制数据的特征进行编码来减少存储数据的冗余，并且压缩后的数据不能随机访问，压缩和解压都要以整个数据块为单位进行。

对数据块 YMatrix 支持 zlib、lz4 和 zstd 三种压缩算法。

用法

lz4、zstd、zlib 三种通用压缩算法需要在建表时用 WITH 语句中实现，示例如下：

=# WITH (compresstype=zstd, compresslevel=3, compress_threshold=1200)

注意！
更多 WITH 语句使用信息请见CREATE TABLE。

参数说明如下：

参数名	默认值	最小值	最大值	描述
compress_threshold	1200	1	8000	压缩阈值。用于控制单表多少元组（Tuple）进行一次压缩，是同一个单元中压缩的 Tuple 数上限
compresstype	lz4			压缩算法，支持： 1. zstd 2. zlib 3. lz4
compresslevel	1	1		压缩级别。值越小压缩越快，但压缩效果越差；值越大压缩越慢，但压缩效果更好。不同的算法有效值范围都不同： zstd：1-19 zlib：1-9 lz4：1-20

注意！
一般而言，zstd 符合压缩级别越高，压缩率越高，同时速度越低。但这并不绝对。

编码链

除通用压缩算法外，我们更希望你尝试 YMatrix 自研的定制化压缩算法 —— 编码链（mxcustom）。

概念

和通用压缩不同，编码链的基础建立在压缩算法感知数据块内部数据的格式和语义的基础上。在关系型数据库中，数据是以表的形式来组织的，表中的每一列数据都有其固定的数据类型，这就保证了同一列数据在逻辑上存在着一定的相似性。而且在一些场景下，业务的表中相邻的行之间数据也可能会更相似，所以如果将数据按列进行压缩并存储在一起就可以带来更好的压缩效果。

编码链拥有以下几种能力：

支持多种编码/压缩算法。针对不同的数据类型，结合数据特征，开发了一系列的编码压缩算法。不同算法有适用场景、压缩率和压缩算法方面的特点，通过精细化指定算法，可以达到良好的压缩效果。
组合压缩。基于数据类型的编码/压缩算法还可以和通用算法进一步组合，达到更佳的压缩效果。
面向列指定压缩。编码链可以面向列指定不同的压缩组合，释放精细化调节的能力。允许在一列指定多个压缩算法实现多级压缩。

优势

编码链对于时序数据的压缩优势明显。时序数据有很强的特征，例如规律的时间间隔，列间独立，随时间的渐变性等。通用的压缩算法如 lz4 和 zstd 均面向字节流，因没有感知并利用这些特性，蛮力压缩的效果离理想结果差距很大。

编码链则可以充分利用时序数据的特性，对表数据进行深度压缩。深度压缩的好处有如下三方面：

大幅节省存储成本。数据尺寸变小大幅节省了存储成本，使得相同空间、相同机器规模下能容纳更多的数据，存储更多数据资产成为可能。
磁盘 I/O 开销减少。同样是由于数据尺寸的降低，磁盘 I/O 开销减少了，对于涉及大量磁盘 I/O 的查询速度改善明显，特别是在磁盘驱动器（HDD，Hard Disk Drive）上，针对数据偏冷（数据被查询频率低）的场景。
深度优化，加速查询。针对性地压缩算法一方面更简单，且有深度优化的机会，可以做更高速的解压。有机会进一步加速查询。

限制

编码链其特性决定了它是一个和数据特征有极大相关性的手段，并非通用手段，有一定使用门槛，因此在使用时要谨慎选择相应算法。
编码链只适用于 MARS2、MARS3 表。

注意！
使用编码链压缩算法的最简便方式是直接配置自适应编码模式，它可以在运行时判断数据特征，并自动选择合理的编码方法。详见下文。

用法

编码链主要用法见下表：

序号	用法
1	列级别压缩
2	表级别压缩（支持修改算法）
3	既指定表级别，又指定列级别压缩
4	自适应编码（AutoEncode）

下面介绍具体使用方法。无论是哪种用法，都需首先创建拓展。

=# CREATE EXTENSION matrixts;

列级别压缩

对 t1 每列数据进行定制化压缩指定。encodechain 用来指定编码组合（可以指定单个算法或多个算法）。如指定多个算法，需以 "," 隔开，示例如下。

=# CREATE TABLE t1(
   f1 int8 ENCODING(encodechain='deltadelta(7), zstd', compresstype='mxcustom'),
   f2 int8 ENCODING(encodechain='lz4', compresstype='mxcustom')
   )
   USING MARS3
   ORDER BY (f1);

也可以使用以下 SQL 完成对列级别压缩的指定。

=# CREATE TABLE t1_1(
   f1 int8,COLUMN f1 ENCODING (encodechain='lz4, zstd', compresstype='mxcustom'),
   f2 int8,COLUMN f2 ENCODING(encodechain='lz4', compresstype='mxcustom')
   )
   USING MARS3
   ORDER BY (f1);

DEFAULT COLUMN ENCODING 意为默认给所有列指定某一特定压缩算法，相当于表级别压缩。

=# CREATE TABLE t1_2(
   f1 int8,
   f2 int8,
   DEFAULT COLUMN ENCODING (encodechain='auto', compresstype='mxcustom')
   )
   USING MARS3
   ORDER BY (f1);

表级别压缩

假设你想要使用 zstd 压缩算法对表 t2 进行表级别压缩，那么会有两种选择：使用编码链和不使用编码链。此处的区别主要在于，使用编码链进行表级别压缩，可以实现建表后利用 SQL 语句再次修改压缩算法。

使用编码链基于 zstd 算法对表 t2_1 进行表级别压缩，示例如下：

=# CREATE TABLE t2_1 (
   f1 int8,
   f2 int8
   ) 
   USING MARS3
   WITH(
   compresstype='mxcustom',
   encodechain='zstd'
   )
   ORDER BY (f1);

使用编码链基于 zstd, lz4 算法组合对表 t2_2 进行表级别压缩，示例如下：

=# CREATE TABLE t2_2 (
   f1 int8,
   f2 int8
   ) 
   USING MARS3
   WITH(
   compresstype='mxcustom',
   encodechain='zstd, lz4'
   )
   ORDER BY (f1);

修改表级别压缩算法为自适应编码：

=# ALTER TABLE t2_1 SET (encodechain='auto');

既指定表级别，又指定列级别压缩

示例 1 中分别对表 t3_1 及其列 f1 指定了 auto 和 lz4 压缩算法，此时由于列级压缩的指定要优先于表级，因此最终会对 f1 列进行 lz4 压缩，对 t3_1 表中的其余列（f2 列）进行自适应编码压缩。

=# CREATE TABLE t3_1 (
   f1 int8 ENCODING(compresstype='lz4'),
   f2 int8
   ) 
   USING MARS3
   WITH(
   compresstype='mxcustom',
   encodechain='auto'
   )
   ORDER BY (f1);

示例 2 中分别对表 t3_2 及其列 f1 指定了 auto 和 lz4, deltazigzag 压缩算法。

=# CREATE TABLE t3_2 (
   f1 int8 ENCODING(compresstype='mxcustom', encodechain='lz4, deltazigzag'),
   f2 int8
   ) 
   USING MARS3
   WITH(
   compresstype='mxcustom',
   encodechain='auto'
   )
   ORDER BY (f1);

自适应编码

YMatrix 的编码链支持自适应编码，即运行时系统判断数据特征，并自动选择一套合理的编码方法。

为 t4 表使用表级别的自适应编码。

=# CREATE TABLE t4 (
   f1 int8,
   f2 int8
   ) 
   USING MARS3
   WITH(
   compresstype=mxcustom
   )
   ORDER BY (f1);

也可以显式指定编码链为 auto，两种用法择一使用即可。

=# CREATE TABLE t4 (
   f1 int8,
   f2 int8
   ) 
   USING MARS3
   WITH(
   compresstype=mxcustom,
   encodechain=auto
   )
   ORDER BY (f1);

为 t4 表同时指定表级别的 lz4 与列级别的自适应编码。此种情况下，列 f2 由于未指定特定压缩算法，会使用表级别的算法。

=# CREATE TABLE t5 (
   f1 int8 ENCODING (
              compresstype=mxcustom,
              encodechain=auto
              ),
   f2 int8
   ) 
   USING MARS3
   WITH(
   compresstype=mxcustom,
   encodechain=lz4
   )
   ORDER BY (f1);

在自适应编码功能下，支持在表级别指定自适应编码模式（Automode），选项有压缩率优先和速度优先。示例中为 t4 表开启了压缩率优先模式。automode=1 表示压缩率优先，automode=2 表示速度优先。

-- automode=1, auto for cost
-- automode=2, auto for speed
=# CREATE TABLE t6 (
   f1 int8,
   f2 int8
   ) 
   USING MARS3
   WITH(
   compresstype=mxcustom,
   automode=1
   )
   ORDER BY (f1);

注意！
自适应编码不可以与其他压缩算法同时指定。

附录：压缩算法

算法	支持参数	描述
lz4 & zstd	compresslevel	编码链把 lz4 和 zstd 纳入了编码组合，调用系统提供的压缩库实现压缩和解压缩。lz4 适用于侧重速度，特别解压缩速度的场景。而 zstd 则更均衡。在默认压缩级别下，lz4 的解压速度要明显好于 zstd，而 zstd 的压缩率要明显要于 lz4。一般而言，zstd 压缩级别越高，压缩率越高，而速度越低。但这并不绝对
deltadelta	缩放因子（可选）。缩放因子指的是缩放位数，如 deltadelta(7) 表示对差值做 7 位缩放后再存储。默认不缩放	Delta Delta 原理是将相邻数据做二次差分，特别适合排序后的时间戳。严格保序且无缺失值的时间戳序列的处理结果是全 0 序列，可以做到很好的压缩。有些时间戳如果存在缺失值，则差分后仍有可能是一个很大的数值。deltadelta 只针对整型，且适合二次差分后是小整数的情况
deltazigzag	缩放因子（可选）	deltazigzag 的原理是进行一次差分，再使用 zigzag 将可能的负数转成正数，再采用可变长度的整型编码压缩成较小尺寸的小整数。适用于区间较小的整数列，没有排序要求
Gorilla		Gorilla 编码用于浮点数的压缩，原理是将数值和前序数值进行异或运算，压缩掉前缀和后缀的零值。目前仅支持 double 类型，即以 8 位为一个数据单元
Gorilla2		Gorilla 的优化版本，相比于 Gorilla，Gorilla2 会捕获更普遍的数据特征。大部分时序场景下，Gorilla2 压缩率明显高于 Gorilla。此外，Gorilla2 在压缩率和压缩时间上与 zstd 同级别，并且在解压速度上比 zstd 有明显优势，目前可支持 float4 和 float8 类型
Floatint	缩放因子（必选）	在一些情况下，Gorilla 对浮点数的压缩并不一定有效。例如，车联网时序场景下，汽车所处位置的经纬度是一个缓慢变化的浮点值，用 Gorilla 压缩率几乎为0。而采用 floatint 搭配 deltadelta 的组合方案，可以达到之前的十几倍。此结果是因为浮点数有专门的内部表示格式，相邻数据的变化相对较小，浮点部分进行异或运算不一定产生较多的零值，但经过一定的缩放得到的整数序列可以很好地保留相似性，反而更容易进行压缩。需要注意的是，floatint 的缩放存在一定的精度损失，引入的误差和缩放因子有关。如果缩放因子是 4，则最大误差是 0.0001
simple8b		simple8b 适用于范围较小的整型数，原理是将多个小整数存放到 8 字节的空间中。比如一块数据里都是 < 8 的整数，则每 3 位即可存放一个数，从而起到较好的压缩效果。对此情况，lz4 因数据无规律，压缩效果可能很差
fds		时序场景中常会使用浮点型数据来存储整型信息，fds 是为这种场景提供的编码方案，通过识别数据实际上是整数，先将数据转换为二进制的整数编码后进一步压缩；以 TSBS cpu-only(一共 13 个列，其中 10 个数值列为 float8 存储的随机整数)数据集评估，fds 的压缩率比 zstd 高 2 倍(压缩后大小为 zstd 的 30%)