使用压缩

你可以在 YMatrix 中使用通用压缩算法 lz4、zstd、zlib，参数说明如下，在 WITH 语句中实现，如 WITH (compresstype=zstd, compresslevel=3)。

1 通用压缩算法

参数名	默认值	最小值	最大值	描述
compress_threshold	1200	1	8000	压缩阈值。用于控制单表多少元组（Tuple）进行一次压缩，是同一个单元中压缩的 Tuple 数上限
compresstype	lz4			压缩算法，支持： 1. zstd 2. zlib 3. lz4
compresslevel	1	1		压缩级别。值越小压缩越快，但压缩效果越差；值越大压缩越慢，但压缩效果更好。不同的算法有效值范围都不同： zstd：1-19 zlib：1-9 lz4：1-20

注意！
一般而言，zstd 符合压缩级别越高，压缩率越高，同时速度越低。但这并不绝对。

2 编码链

除通用压缩算法外，我们更希望你尝试 YMatrix 自研的定制化压缩算法 —— 编码链（mxcustom）。时序数据有很强的特征，例如规律的时间间隔，列间独立，随时间的渐变性等。通用的压缩算法如 lz4 和 zstd 均面向字节流，因没有感知并利用这些特性，蛮力压缩的效果离理想结果差距很大。
编码链则可以充分利用时序数据的特性，对表数据进行深度压缩。深度压缩的好处有如下三方面：

大幅节省存储成本。数据尺寸变小大幅节省了存储成本，使得相同空间、相同机器规模下能容纳更多的数据，存储更多数据资产成为可能。
磁盘 I/O 开销减少。同样是由于数据尺寸的降低，磁盘 I/O 开销减少了，对于涉及大量磁盘 I/O 的查询速度改善明显，特别是在磁盘驱动器（HDD，Hard Disk Drive）上，针对数据偏冷（数据被查询频率低）的场景。
深度优化，加速查询。针对性地压缩算法一方面更简单，且有深度优化的机会，可以做更高速的解压。有机会进一步加速查询。

2.1 介绍

算法	支持参数	描述
lz4 & zstd	compresslevel	编码链把 lz4 和 zstd 纳入了编码组合，调用系统提供的压缩库实现压缩和解压缩。lz4 适用于侧重速度，特别解压缩速度的场景。而 zstd 则更均衡。在默认压缩级别下，lz4 的解压速度要明显好于 zstd，而 zstd 的压缩率要明显要于 lz4。一般而言，zstd 压缩级别越高，压缩率越高，而速度越低。但这并不绝对
deltadelta	缩放因子（可选）。缩放因子指的是缩放位数，如 deltadelta(7) 表示对差值做 7 位缩放后再存储。默认不缩放	Delta Delta 原理是将相邻数据做二次差分，特别适合排序后的时间戳。严格保序且无缺失值的时间戳序列的处理结果是全 0 序列，可以做到很好的压缩。有些时间戳如果存在缺失值，则差分后仍有可能是一个很大的数值。deltadelta 只针对整型，且适合二次差分后是小整数的情况
deltazigzag	缩放因子（可选）	deltazigzag 的原理是进行一次差分，再使用 zigzag 将可能的负数转成正数，再采用可变长度的整型编码压缩成较小尺寸的小整数。适用于区间较小的整数列，没有排序要求
Gorilla		Gorilla 编码用于浮点数的压缩，原理是将数值和前序数值进行异或运算，压缩掉前缀和后缀的零值。目前仅支持 double 类型，即以 8 位为一个数据单元
Gorilla2		Gorilla 的优化版本，相比于 Gorilla，Gorilla2 会捕获更普遍的数据特征。大部分时序场景下，Gorilla2 压缩率明显高于 Gorilla。此外，Gorilla2 在压缩率和压缩时间上与 zstd 同级别，并且在解压速度上比 zstd 有明显优势，目前可支持 float4 和 float8 类型
Floatint	缩放因子（必选）	在一些情况下，Gorilla 对浮点数的压缩并不一定有效。例如，车联网时序场景下，汽车所处位置的经纬度是一个缓慢变化的浮点值，用 Gorilla 压缩率几乎为0。而采用 floatint 搭配 deltadelta 的组合方案，可以达到之前的十几倍。此结果是因为浮点数有专门的内部表示格式，相邻数据的变化相对较小，浮点部分进行异或运算不一定产生较多的零值，但经过一定的缩放得到的整数序列可以很好地保留相似性，反而更容易进行压缩。需要注意的是，floatint 的缩放存在一定的精度损失，引入的误差和缩放因子有关。如果缩放因子是 4，则最大误差是 0.0001
simple8b		simple8b 适用于范围较小的整型数，原理是将多个小整数存放到 8 字节的空间中。比如一块数据里都是 < 8 的整数，则每 3 位即可存放一个数，从而起到较好的压缩效果。对此情况，lz4 因数据无规律，压缩效果可能很差
fds		时序场景中常会使用浮点型数据来存储整型信息，fds 是为这种场景提供的编码方案，通过识别数据实际上是整数，先将数据转换为二进制的整数编码后进一步压缩；以 TSBS cpu-only(一共 13 个列，其中 10 个数值列为 float8 存储的随机整数)数据集评估，fds 的压缩率比 zstd 高 2 倍(压缩后大小为 zstd 的 30%)

2.2 使用

编码链主要功能见下表：

序号	用法
1	列级别压缩
2	表级别压缩（支持修改算法）
3	既指定表级别，又指定列级别压缩
4	自适应编码（AutoEncode）

下面介绍具体使用方法。无论是哪种用法，都需首先创建拓展。

=# CREATE EXTENSION matrixts;

2.2.1 列级别压缩

对 t1 每列数据进行定制化压缩指定。encodechain 用来指定编码组合，参数放在括号内，以 "," 隔开，示例如下。

=# CREATE EXTENSION matrixts;
=# CREATE TABLE t1(
   f1 int8 ENCODING(encodechain='deltadelta(7)', compresstype='mxcustom'),
   f2 int8 ENCODING(encodechain='lz4', compresstype='mxcustom')
   )
   USING MARS3
   ORDER BY (f1);

也可以使用以下 SQL 完成对列级别压缩的指定。

=# CREATE TABLE t1_1(
   f1 int8,COLUMN f1 ENCODING (encodechain='lz4', compresstype='mxcustom'),
   f2 int8,COLUMN f2 ENCODING(encodechain='lz4', compresstype='mxcustom')
   )
   USING MARS3
   ORDER BY (f1);

DEFAULT COLUMN ENCODING 意为默认给所有列指定某一特定压缩算法，相当于表级别压缩。

=# CREATE TABLE t1_2(
   f1 int8,
   f2 int8,
   DEFAULT COLUMN ENCODING (encodechain='auto', compresstype='mxcustom')
   )
   USING MARS3
   ORDER BY (f1);

2.2.2 表级别压缩

假设你想要使用 zstd 压缩算法对表 t2 进行表级别压缩，那么会有两种选择：使用编码链和不使用编码链。此处的区别主要在于，使用编码链进行表级别压缩，可以实现建表后利用 SQL 语句再次修改压缩算法。

如使用编码链基于 zstd 算法对表 t2 进行表级别压缩，示例如下：

=# CREATE TABLE t2 (
   f1 int8,
   f2 int8
   ) 
   USING MARS3
   WITH(
   compresstype=mxcustom,
   encodechain=zstd
   )
   ORDER BY (f1);

修改表级别压缩算法为自适应编码：

=# ALTER TABLE t2 SET (encodechain=auto);

注意！
encodechain 只适用于 MARS2 表。你可以和过去一样在 MARS2 表中使用原有的压缩方法。例如在 WITH 子句里指定表级压缩。

2.2.3 既指定表级别，又指定列级别压缩

示例中分别对表 t3 及其列 f1 指定了 auto 和 lz4 压缩算法，此时由于列级压缩的指定要优先于表级，因此最终会对 f1 列进行 lz4 压缩，对 t3 表中的其余列（f2 列）进行自适应编码压缩。

=# CREATE TABLE t3 (
   f1 int8 ENCODING(compresstype=lz4),
   f2 int8
   ) 
   USING MARS3
   WITH(
   compresstype=mxcustom,
   encodechain=auto
   )
   ORDER BY (f1);

2.2.4 自适应编码

YMatrix 的编码链支持自适应编码，即运行时系统判断数据特征，并自动选择一套合理的编码方法。

为 t4 表使用表级别的自适应编码。

=# CREATE TABLE t4 (
   f1 int8,
   f2 int8
   ) 
   USING MARS3
   WITH(
   compresstype=mxcustom
   )
   ORDER BY (f1);

也可以显式指定编码链为 auto，两种用法择一使用即可。

=# CREATE TABLE t4 (
   f1 int8,
   f2 int8
   ) 
   USING MARS3
   WITH(
   compresstype=mxcustom,
   encodechain=auto
   )
   ORDER BY (f1);

为 t4 表同时指定表级别的 lz4 与列级别的自适应编码。此种情况下，列 f2 由于未指定特定压缩算法，会使用表级别的算法。

=# CREATE TABLE t5 (
   f1 int8 ENCODING (
              compresstype=mxcustom,
              encodechain=auto
              ),
   f2 int8
   ) 
   USING MARS3
   WITH(
   compresstype=mxcustom,
   encodechain=lz4
   )
   ORDER BY (f1);

在自适应编码功能下，支持在表级别指定自适应编码模式（Automode），选项有压缩率优先和速度优先。示例中为 t4 表开启了压缩率优先模式。automode=1 表示压缩率优先，automode=2 表示速度优先。

## automode=1, auto for cost
## automode=2, auto for speed
=# CREATE TABLE t6 (
   f1 int8,
   f2 int8
   ) 
   USING MARS3
   WITH(
   compresstype=mxcustom,
   automode=1
   )
   ORDER BY (f1);