查询统计

本文档主要介绍了 YMatrix 查询统计功能的部署、表结构、使用、配置及停止。

mxstat 查询统计模块用来对查询信息进行统计，包括：

查询使用时间
查询资源消耗

1 部署

该模块包含在 matrixmgr 扩展中，会随着系统默认安装。

$ gpconfig -s shared_preload_libraries
Values on all segments are consistent
GUC          : shared_preload_libraries
Master  value: matrixts,matrixmgr,matrixgate,telemetry,mars2
Segment value: matrixts,matrixmgr,matrixgate,telemetry,mars2

但是要查看统计信息，必须创建 matrixmgr 数据库并在该数据库中创建 matrixmgr 扩展（YMatrix 集群初始化后会默认创建数据库和扩展）。

=# createdb matrixmgr
=# psql -d matrixmgr
matrixmgr=# CREATE EXTENSION matrixmgr CASCADE;
NOTICE:  installing required extension "matrixts"
CREATE EXTENSION

2 表结构

部署成功后，在 matrixmgr 数据库的 matrixmgr_internal 模式下会出现如下表和视图：

mx_query_execute_history
mx_query_execute_history_with_text
mx_query_usage_history
mx_querytext
mxstat_execute
mxstat_usage

2.1 mxstat_execute

查询执行信息视图。

该视图展示了系统从上次收集历史信息完毕后（默认 5 分钟），运行查询的统计信息。包括如下字段：

字段名	类型	描述
seg	integer	查询生成并下发计划节点编号
userid	oid	用户 OID
dbid	oid	数据库 OID
queryid	bigint	查询 ID，由扩展生成，用来将相同类型的查询进行归类
nestlevel	integer	嵌套深度
query	text	查询文本
calls_begin	bigint	查询启动次数
calls_alive	bigint	上次收集历史信息时，处于执行状态的查询数
calls_end	bigint	查询正常结束次数
total_time	double precision	该类查询总执行时间，单位毫秒
min_time	double precision	该类型查询最短执行时间，单位毫秒
max_time	double precision	该类查询最长执行时间，单位毫秒
mean_time	double precision	该类查询平均执行时间，单位毫秒
stddev_time	double precision	该类查询执行时间标准差，单位毫秒
sample_planid	bigint	执行计划ID
sample_start	timestamp with time zone	最慢查询启动时间戳
sample_parse_done	timestamp with time zone	最慢查询完成解析时间戳
sample_plan_done	timestamp with time zone	最慢查询生成计划时间戳
sample_exec_start	timestamp with time zone	最慢查询开始执行时间戳
sample_exec_end	timestamp with time zone	最慢查询执行完毕时间戳

2.2 mxstat_usage

查询资源消耗信息视图。

该视图展示了系统从上次收集历史信息完毕后（默认 5 分钟），运行查询的资源消耗信息。包括如下字段：

字段名	类型	描述
seg	integer	查询执行节点编号
userid	oid	用户 OID
dbid	oid	数据库 OID
queryid	bigint	查询 ID，由扩展生成，用来将相同类型的查询进行归类
nestlevel	integer	嵌套深度
rows	bigint	该语句检索或影响的行总数
shared_blks_hit	bigint	该语句造成的共享块缓冲命中总数
shared_blks_read	bigint	该语句读取的共享块的总数
shared_blks_dirtied	bigint	该语句弄脏的共享块的总数
shared_blks_written	bigint	该语句写入的共享块的总数
local_blks_hit	bigint	该语句造成的本地块缓冲命中总数
local_blks_read	bigint	该语句读取的本地块的总数
local_blks_dirtied	bigint	该语句弄脏的本地块的总数
local_blks_written	bigint	该语句写入的本地块的总数
temp_blks_read	bigint	该语句读取的临时块的总数
temp_blks_written	bigint	该语句写入的临时块的总数
blk_read_time	double precision	该语句花在读取块上的总时间，以毫秒计
blk_write_time	double precision	该语句花在写入块上的总时间，以毫秒计
ru_utime	double precision	用户态 CPU 时间
ru_stime	double precision	系统态 CPU 时间
ru_maxrss	bigint	实际使用物理内存，包含共享库占用的内存，单位 KB
ru_ixrss	bigint	集成共享内存大小
ru_idrss	bigint	集成非共享数据大小
ru_isrss	bigint	集成非共享堆栈大小
ru_minflt	bigint	缺页中断的次数，且处理这些中断不需要进行 I/O
ru_majflt	bigint	缺页中断的次数，且处理这些中断需要进行 I/O
ru_nswap	bigint	交换空间
ru_inblock	bigint	文件系统需要进行输入操作的次数
ru_oublock	bigint	文件系统需要进行输出操作的次数
ru_msgsnd	bigint	消息发送数量
ru_msgrcv	bigint	消息接收数量
ru_nsignals	bigint	接收信号数量
ru_nvcsw	bigint	因进程自愿放弃处理器时间片而导致的上下文切换的次数
ru_nivcsw	bigint	因进程时间片使用完毕或被高优先级进程抢断导致的上下文切换的次数

2.3 mx_query_execute_history

该表为分区表，是 mxstat_execute 视图的历史信息收集，默认 5 分钟一次。其表结构和 mxstat_execute 视图一致，只是多了一个 ts_bucket 字段，记录收集的时间点。

2.4 mx_query_usage_history

该表为分区表，是 mxstat_usage 视图的历史信息收集，默认 5 分钟一次。其表结构和 mxstat_usage 视图一致，只是多了一个 ts_bucket 字段，记录收集的时间点。

2.5 mx_querytext

存储 queryid 与 querytext 的映射，和其他历史信息收集表一样，周期存储，目的是使历史查询可以获取 SQL 文本。

2.6 mx_query_execute_history_with_text

将 mx_query_execute_history 与 mx_querytext 通过 queryid 进行关联后的视图。同时读取历史查询统计信息和 SQL 文本。

3 使用

3.1 查询归类方法

mxstat 统计查询信息，并不是将每条查询都记录，而是将一类查询统一汇总。查询按照解析结果进行归类。

如下查询，都是向 test1 表插入数据，只是参数不同，这些查询会生成相同的 queryid，归位一类。

=# INSERT INTO test1 VALUES(1);
=# INSERT INTO test1 VALUES(2);
=# INSERT INTO test1 VALUES(3);

如下查询只是条件参数不同，其他都一样，也会归位一类。

=# SELECT * FROM test1 WHERE c1 = 1;
=# SELECT * FROM test1 WHERE c1 = 2;
=# SELECT * FROM test1 WHERE c1 = 3;

如下查询虽然相似，但是查询的是不同的表，不能归位一类。

=# SELECT * FROM test1 WHERE c1 = 1;
=# SELECT * FROM test2 WHERE c1 = 1;
=# SELECT * FROM test3 WHERE c1 = 1;

3.2 案例

下面举例来看如何使用 mxstat 来查看查询统计信息。

案例1

执行如下 3 条 SQL 语句：

=# SELECT pg_sleep(5);
=# SELECT pg_sleep(10);
=# SELECT pg_sleep(15);

然后查询 mxstat_execute 的统计信息：

matrixmgr=# SELECT * FROM matrixmgr_internal.mxstat_execute WHERE query LIKE '%pg_sleep%';
 seg | userid | dbid  |       queryid        | nestlevel |        query        | calls_begin | calls_alive | calls_end | total_time | min_time
| max_time  |     mean_time      |    stddev_time    |    sample_planid     |         sample_start          |       sample_parse_done       |
     sample_plan_done        |       sample_exec_start       |        sample_exec_end
-----+--------+-------+----------------------+-----------+---------------------+-------------+-------------+-----------+------------+----------
+-----------+--------------------+-------------------+----------------------+-------------------------------+-------------------------------+--
-----------------------------+-------------------------------+-------------------------------
  -1 |     10 | 16384 | -2007749946425010549 |         0 | select pg_sleep($1) |           3 |           0 |         3 |      30041 | 5009.054
| 15018.717 | 10013.666666666666 | 4086.427819588182 | -2693056513545111817 | 2022-03-25 13:58:58.503851-04 | 2022-03-25 13:58:58.503933-04 | 2
022-03-25 13:58:58.503994-04 | 2022-03-25 13:58:58.504008-04 | 2022-03-25 13:59:13.522725-04
(1 row)

从视图结果可以看出，查询被调用了 3 次，并且 query 文本也做了归一化，将时间参数替换成了 $ + 参数序号。查询执行的总时间、最大时间、最小时间、平均时间与预期一致。并且记录了最慢一次查询执行各个阶段的时间戳，即 select pg_sleep(15)，休息 15 秒的查询。

然后再查看一下该语句资源使用情况，这个就需要用到 mxstat_execute.queryid 做关联：

matrixmgr=# SELECT * FROM matrixmgr_internal.mxstat_usage WHERE queryid = -2007749946425010549;
 seg | userid | dbid  |       queryid        | nestlevel | rows | shared_blks_hit | shared_blks_read | shared_blks_dirtied | shared_blks_writte
n | local_blks_hit | local_blks_read | local_blks_dirtied | local_blks_written | temp_blks_read | temp_blks_written | blk_read_time | blk_write
_time | ru_utime | ru_stime | ru_maxrss | ru_ixrss | ru_idrss | ru_isrss | ru_minflt | ru_majflt | ru_nswap | ru_inblock | ru_oublock | ru_msgs
nd | ru_msgrcv | ru_nsignals | ru_nvcsw | ru_nivcsw
-----+--------+-------+----------------------+-----------+------+-----------------+------------------+---------------------+-------------------
--+----------------+-----------------+--------------------+--------------------+----------------+-------------------+---------------+----------
------+----------+----------+-----------+----------+----------+----------+-----------+-----------+----------+------------+------------+--------
---+-----------+-------------+----------+-----------
  -1 |     10 | 16384 | -2007749946425010549 |         0 |    3 |               0 |                0 |                   0 |
0 |              0 |               0 |                  0 |                  0 |              0 |                 0 |             0 |
    0 | 0.001297 | 0.000431 |     20568 |        0 |        0 |        0 |         6 |         0 |        0 |          0 |          0 |
 0 |         0 |           0 |      122 |         0
(1 row)

从查询结果可以看到该查询仅在 Master 节点上执行过，所以仅有一条 seg = -1 的记录。

案例2

下面再看一个例子：

=# CREATE TABLE test1(
  c1 int,
  c2 int
  )
  USING MARS3
  DISTRIBUTED BY(c1)
  ORDER BY(c1);

然后查询 mxstat_execute 的统计信息：

matrixmgr=# SELECT * FROM matrixmgr_internal.mxstat_execute WHERE query LIKE '%create table test1%';
 seg | userid | dbid  |       queryid        | nestlevel |                         query                         | calls_begin | calls_alive |
calls_end | total_time | min_time | max_time | mean_time | stddev_time | sample_planid |         sample_start          | sample_parse_done | sa
mple_plan_done |       sample_exec_start       |        sample_exec_end
-----+--------+-------+----------------------+-----------+-------------------------------------------------------+-------------+-------------+-
----------+------------+----------+----------+-----------+-------------+---------------+-------------------------------+-------------------+---
---------------+-------------------------------+-------------------------------
  -1 |     10 | 16384 | -6276724884379903029 |         0 | create table test1(c1 int, c2 int) distributed by(c1) |           1 |           0 |
        1 |     46.221 |   46.221 |   46.221 |    46.221 |           0 |             0 | 2022-03-25 14:08:51.754458-04 |                   |
               | 2022-03-25 14:08:51.754735-04 | 2022-03-25 14:08:51.800956-04
(1 row)

再查看一下该语句资源使用情况：

matrixmgr=# SELECT * FROM matrixmgr_internal.mxstat_usage WHERE queryid = -6276724884379903029;
 seg | userid | dbid  |       queryid        | nestlevel | rows | shared_blks_hit | shared_blks_read | shared_blks_dirtied | shared_blks_writte
n | local_blks_hit | local_blks_read | local_blks_dirtied | local_blks_written | temp_blks_read | temp_blks_written | blk_read_time | blk_write
_time | ru_utime | ru_stime | ru_maxrss | ru_ixrss | ru_idrss | ru_isrss | ru_minflt | ru_majflt | ru_nswap | ru_inblock | ru_oublock | ru_msgs
nd | ru_msgrcv | ru_nsignals | ru_nvcsw | ru_nivcsw
-----+--------+-------+----------------------+-----------+------+-----------------+------------------+---------------------+-------------------
--+----------------+-----------------+--------------------+--------------------+----------------+-------------------+---------------+----------
------+----------+----------+-----------+----------+----------+----------+-----------+-----------+----------+------------+------------+--------
---+-----------+-------------+----------+-----------
  -1 |     10 | 16384 | -6276724884379903029 |         0 |    0 |             295 |               59 |                  21 |
0 |              0 |               0 |                  0 |                  0 |              0 |                 0 |             0 |
    0 | 0.004053 |        0 |     22744 |        0 |        0 |        0 |       429 |         0 |        0 |          0 |          0 |
 0 |         0 |           0 |        6 |         0
   1 |     10 | 16384 | -6276724884379903029 |         0 |    0 |             261 |               82 |                  19 |
0 |              0 |               0 |                  0 |                  0 |              0 |                 0 |             0 |
    0 | 0.001691 | 0.001558 |     19284 |        0 |        0 |        0 |       510 |         0 |        0 |          0 |          0 |
 0 |         0 |           0 |        0 |         1
   0 |     10 | 16384 | -6276724884379903029 |         0 |    0 |             314 |               34 |                  19 |
0 |              0 |               0 |                  0 |                  0 |              0 |                 0 |             0 |
    0 | 0.002537 | 0.000193 |     18508 |        0 |        0 |        0 |       574 |         0 |        0 |          0 |          0 |
 0 |         0 |           0 |        1 |         1
   2 |     10 | 16384 | -6276724884379903029 |         0 |    0 |             261 |               82 |                  19 |
0 |              0 |               0 |                  0 |                  0 |              0 |                 0 |             0 |
    0 | 0.003043 |  2.9e-05 |     19292 |        0 |        0 |        0 |       514 |         0 |        0 |          0 |          0 |
 0 |         0 |           0 |        0 |         2
(4 rows)

从查询结果可以看到，该查询在每个节点上都要创建表，所以所有节点都会记录资源使用状况。

案例3

从上面的执行结果可以看到，在 mxstat_execute 中，nestlevel 值都为0，因为查询执行都没有嵌套。下面构造一种嵌套执行的例子。嵌套执行通常是通过调用 UDF 来实现。

=# CREATE OR REPLACE FUNCTION nest_query() RETURNS SETOF RECORD
AS $$ SELECT 1;$$
LANGUAGE SQL;

创建名为 nest_query 的 UDF，函数内部调用了 SQL：SELECT 1。然后调用该 UDF。

注意：mxstat 默认不会记录嵌套信息，需要将 mxstat_statements.track 设置为 'all'。

mxadmin=# SET mxstat_statements.track TO 'all';
SET
mxadmin=# select nest_query();
 nest_query
------------
 (1)
(1 row)

然后查询内部语句 SELECT 1 的执行信息。因为 1 是常量，所以归一化后的 query 会用 $1 替换：

matrixmgr=# SELECT * FROM matrixmgr_internal.mxstat_execute WHERE query LIKE '%SELECT $1%';
 seg | userid | dbid  |       queryid        | nestlevel |   query   | calls_begin | calls_alive | calls_end | total_time | min_time | max_time
 | mean_time | stddev_time |    sample_planid    |         sample_start          |       sample_parse_done       |       sample_plan_done
  |       sample_exec_start       |        sample_exec_end
-----+--------+-------+----------------------+-----------+-----------+-------------+-------------+-----------+------------+----------+---------
-+-----------+-------------+---------------------+-------------------------------+-------------------------------+-----------------------------
--+-------------------------------+-------------------------------
  -1 |     10 | 16384 | -4554727679305370053 |         1 | SELECT $1 |           1 |           0 |         1 |      0.031 |    0.031 |    0.031
 |     0.031 |           0 | -382705668420232707 | 2022-03-25 14:35:30.668124-04 | 2022-03-25 14:35:30.668373-04 | 2022-03-25 14:35:30.668403-0
4 | 2022-03-25 14:35:30.668408-04 | 2022-03-25 14:35:30.668439-04
(1 row)

可以看到，这次 nestlevel 的值为 1，因为嵌套调用的深度为 1。如果嵌套更深的话，nestlevel 的值会更大，mxstat 最深会记录到第 31 层。

4 配置

mxstat 包含了如下 GUC，用来控制监控行为：

名称	类型	描述
mxstat_statements.max	整型	存储查询时间的哈希槽位。默认 `5000`
mxstat_statements.usage_multiple	整型	存储查询资源信息的哈希槽位相对于查询时间哈希槽位的倍数，大一些的原因是希望每个查询都能找到对应的资源消耗信息。默认为 2
mxstat_statements.track	字符串	top：只跟踪第一层，不进行嵌套跟踪（默认）。 all：跟踪全部。 none：不跟踪，相当于关闭了该功能
mxstat_statements.track_utility	布尔	是否跟踪 utility 语句的执行，默认为 `true`
mxstat_statements.save	布尔	当集群重启的时候是否将共享内存中的信息转储到文件，默认为 `true`
mxstat_statements.harvest_interval	整型	查询统计信息默认在共享内存里，会周期收集到历史表中，该 GUC 用来设置采集周期。默认为 `5` 分钟
mxstat_statements.harvest_usage	布尔	是否收集 usage 信息，默认为 `true`
mxstat_statements.ignored_databases	字符串	忽略的数据库，默认值为 `template0,template1,matrixmgr`

5 停止

注意！
停止查询统计功能无需停止或重启数据库。

首先，停止 Master 上的后台采集进程。

$ psql -d matrixmgr -c "SELECT matrixmgr_internal.mxstat_stop_worker();"

其次，全局关闭采集功能并使其生效。

$ gpconfig -s mxstat_statements.track 
$ gpconfig -c mxstat_statements.track -v none
$ mxstop -u

最后，清空已经采集到的数据。

$ psql -d matrixmgr -c "SELECT matrixmgr_internal.mxstat_reset();"

如需重启后台采集进程，则执行以下命令：

$ psql -d matrixmgr -c "SELECT matrixmgr_internal.mxstat_start_worker();"