YMatrix 文档

资源管理（RESOURCE MANAGEMENT）类别参数

本文档介绍了系统配置参数中资源管理类别的相关参数。

注意！
为确保系统稳定与安全，请务必谨慎手动修改相关参数。

资源组（Resource Group）

gp_resgroup_memory_policy

由资源组用于管理查询运算符的内存分配。

注意：仅当资源管理设置为资源组时，gp_resgroup_memory_policy 服务器配置参数才会生效。
设置为 auto 时，YMatrix 数据库使用资源组内存限制在查询运算符之间分配内存，为非内存密集型运算符分配固定大小的内存，其余内存为内存密集型运算符。
当你指定 eager_free 时，YMatrix 数据库通过将已完成处理的运算符所释放的内存重新分配给之后查询阶段的运算符，从而更好地在运算符之间进行内存分配。

数据类型	默认值	取值范围	设置分类
enum	eager_free	eager_free / auto	segments；system；restart/reload；superuser

gp_resource_group_cpu_limit

标识要分配给每个 YMatrix 数据库 Segment 节点上资源组的系统 CPU 资源的最大百分比。

注意：仅当资源管理设置为资源组时，gp_resource_group_cpu_limit 服务器配置参数才会生效。

数据类型	默认值	取值范围	设置分类
floating point	0.9	0.1 ~ 1.0	segments；system；restart

gp_resource_group_cpu_priority

当启用资源组时，设置 YMatrix 进程相对于非 YMatrix 进程的 CPU 优先级。

例如，将此参数设置为 10 会将分配给 YMatrix 进程的 CPU 资源与非 YMatrix 进程的比率设置为 10:1。

数据类型	默认值	取值范围	设置分类
int	10	1 ~ 256	segments；system；restart

gp_resource_group_queuing_timeout

取消超过等待时间（毫秒）的资源组中排队的事务。

时限分别适用于每笔交易。
默认值为 0；事务无限期地排队并且永远不会超时。
注意：仅当资源管理设置为资源组时，gp_resource_group_queuing_timeout 服务器配置参数才会生效。

数据类型	默认值	取值范围	设置分类
int	0	0 ~ INT_MAX	master；session；reload

gp_resource_manager

标识当前在 YMatrix 数据库群集中启用的资源管理方案。

数据类型	默认值	取值范围	设置分类
enum	queue	group / queue	segments；system；restart

memory_spill_ratio

设置事务中内存密集型运算符的内存使用阈值百分比。

当事务达到此阈值时，它将溢出到磁盘。
默认 memory_spill_ratio 百分比是为分配给当前活动角色的资源组定义的值。
您可以在会话级别设置 memory_spill_ratio，以便在每个查询的基础上有选择地设置此限制。例如，如果你有一个特定的查询溢出到磁盘并需要更多内存，你可以选择设置更大的 memory_spill_ratio 来增加初始内存分配。
在会话级别设置 memory_spill_ratio 时，YMatrix 数据库不会对新值执行语义验证，直到您下次执行查询为止。
仅当资源管理设置为资源组时，memory_spill_ratio 服务器配置参数才会生效。

数据类型	默认值	取值范围	设置分类
int	20	0 ～ 100	master；session；reload

mx_cgroup_v1_base

资源组功能的默认基本 v1 cgroup 路径。

如果你使用了图形化界面部署，则默认值为 /ymatrix/EmviwvEQDzobZxQi3pX8Co/postgres；如果使用了命令行部署，则为空字符串。

数据类型	默认值	设置分类
string		segments；system；restart；superuser

资源队列（Resource Resqueue）

gp_resqueue_memory_policy

启用 YMatrix 内存管理功能。

注意：仅当资源管理设置为资源队列时，gp_resqueue_memory_policy 服务器配置参数才会生效。
分配算法 eager_free 利用了并非所有运算符同时执行的事实。
查询计划分为几个阶段，YMatrix 数据库快速释放在某阶段执行结束时分配给前一阶段的内存，随后将释放的内存分配给新阶段。
当设置为 none 时，内存管理与 Greenplum 4.1 之前的发行版相同；当设置为 auto 时，主要由 statement_mem 参数及队列内存限制来控制查询语句的内存使用。

数据类型	默认值	取值范围	设置分类
enum	eager_free	eager_free / auto / none	segments；system；restart/reload

gp_resqueue_priority

启用或禁用查询优先级。

禁用此参数时，不会在查询运行时计算现有优先级设置。
注意：仅当资源管理设置为资源队列时，gp_resqueue_priority 服务器配置参数才会生效。

数据类型	默认值	设置分类
boolean	on	segments；system；restart

gp_resqueue_priority_cpucores_per_segment

指定每个 Segment 实例分配的 CPU 单元数。

Master 主机通常只运行 Master 实例，因此主机的值应反映所有可用 CPU 内核的使用情况。
设置不正确可能导致 CPU 使用率不足或查询优先级不按设计工作。
注意：仅当资源管理设置为资源队列时，gp_resqueue_priority_cpucores_per_segment 服务器配置参数才会生效。

数据类型	默认值	取值范围	设置分类
floating point	4.0	0.1 ～ 512.0	segments；system；restart

gp_resqueue_priority_sweeper_interval

指定清理程序进程评估当前 CPU 使用率的时间间隔（毫秒）。

当新语句变为活动状态时，将评估其优先级，并在达到下一个间隔时确定其 CPU 份额。
注意：仅当资源管理设置为资源队列时，gp_resqueue_priority_sweeper_interval 服务器配置参数才会生效。

数据类型	默认值	取值范围	设置分类
int	1000	500 ～ 15000	segments；system；restart

gp_vmem_protect_limit

设置活动 Segment 节点实例的所有 postgres 进程可以使用的内存量（MB）。

注意：仅当资源管理设置为资源队列时，gp_vmem_protect_limit 服务器配置参数才会生效。
如果查询导致超出此参数限制，则不会分配内存，查询将失败。
设置此参数时，仅指定数值。例如，要指定 4096MB，请使用值 4096，不要将单位 MB 添加到该值。
为了防止内存过度分配，这些计算可以估计安全的 gp_vmem_protect_limit 值。首先计算值 gp_vmem。这是主机上可用的 YMatrix 数据库内存。
```
gp_vmem = ((SWAP + RAM) – (7.5GB + 0.05 * RAM)) / 1.7
```
其中 SWAP 是主机交换空间，RAM 是主机上的 RAM，以 GB 为单位。
接下来，计算 max_acting_primary_segments。这是因集群故障而激活 Mirror 时主机上可以运行的 Primary 的最大数量。例如，如果 Mirror 布置在 4 个主机块中，每个主机有 8 个 Primary，则单个 Segment 主机故障将激活故障主机块中每个剩余主机上的两个或三个 Mirror。
此配置的 max_acting_primary_segments 值为 11（8 个 Primary 加上 3 个失败时激活的 Mirror）。这是 gp_vmem_protect_limit 的计算。该值应转换为 MB。
```
gp_vmem_protect_limit = gp_vmem / acting_primary_segments
```
对于生成大量工作文件的情况，这是计算工作文件的 gp_vmem 的计算。
```
gp_vmem = ((SWAP + RAM) – (7.5GB + 0.05 * RAM - (300KB * total_#_workfiles))) / 1.7
```
根据 gp_vmem 值，您可以计算 vm.overcommit_ratio 操作系统内核参数的值。配置每个 YMatrix 数据库主机时，将设置此参数。
```
vm.overcommit_ratio = (RAM - (0.026 * gp_vmem)) / RAM
```
注意：Red Hat Enterprise Linux 中内核参数 vm.overcommit_ratio 的默认值为 50。
如果你使用了图形化界面来部署，则此参数会根据服务器的硬件资源来计算适配；如果你使用命令行部署，则默认为 8192。

数据类型	默认值	取值范围	设置分类
int	11429	0 ～（INT_MAX/2）	segments；system；restart

max_resource_portals_per_transaction

设置每个事务允许同时打开的用户声明游标的最大数量。

注意：打开的游标将在资源队列中保留活动的查询槽用于资源管理。
注意：仅当资源管理设置为资源队列时，max_resource_portals_per_transaction 服务器配置参数才会生效。

数据类型	默认值	取值范围	设置分类
int	64	0 ~ INT_MAX	master；system；restart

max_resource_queues

设置可以在 YMatrix 数据库系统中创建的最大资源队列数。

注意：资源队列是系统范围的（角色也是如此），因此它们适用于系统中的所有数据库。

数据类型	默认值	取值范围	设置分类
int	9	0 ～ INT_MAX	master；system；restart

max_statement_mem

设置查询的最大内存限制（KB）。

由于将 statement_mem 设置得太高，有助于在查询处理期间避免 Segment 主机上的内存不足错误。
当 gp_resqueue_memory_policy=auto 时，statement_mem 和资源队列内存限制控制查询内存使用量。
考虑到单个 Segment 主机的配置，请按如下方式计算此设置：
```
(seghost_physical_memory) / (average_number_concurrent_queries)
```
更改 max_statement_mem 和 statement_mem 时，必须先更改 max_statement_mem，或者先在 postgresql.conf 文件中列出。
注意：仅当资源管理设置为资源队列时，max_statement_mem 务器配置参数才会生效。

数据类型	默认值	取值范围	设置分类
int	2048000	32768 ～ INT_MAX	master；session；reload；superuser

resource_cleanup_gangs_on_wait

如果通过资源队列提交语句，此参数会在锁定资源队列之前清除所有空闲的查询执行程序工作进程。

注意：仅当资源管理设置为资源队列时，resource_cleanup_gangs_on_wait 服务器配置参数才会生效。

数据类型	默认值	设置分类
boolean	on	master；system；restart

resource_select_only

设置资源队列管理的查询类型。

如果设置为 on，则评估 SELECT，SELECT INTO，CREATE TABLE AS SELECT和DECLARE CURSOR 命令；如果设置为 off，则还将评估 INSERT，UPDATE 和 DELETE 命令。
注意：仅当资源管理设置为资源队列时，resource_select_only 服务器配置参数才会生效。

数据类型	默认值	设置分类
boolean	off	master；system；restart

runaway_detector_activation_percent

设置触发查询终止的 YMatrix 数据库 vmem 内存的百分比。

如果用于 YMatrix 数据库 Segment 的 vmem 内存百分比超过指定值，YMatrix 数据库将根据内存使用情况终止查询，从占用最大内存量的查询开始。查询将终止，直到使用的 vmem 百分比低于指定的百分比。
值 0 禁用基于所使用的 vmem 的百分比自动终止查询。
注意：仅当资源管理设置为资源队列时，runaway_detector_activation_percent 服务器配置参数才会生效。

数据类型	默认值	取值范围	设置分类
int	90	0 ~ 100	segments；system；restart

statement_mem

为每个查询分配 Segment 主机内存（KB）。

使用此参数分配的内存量不能超过 max_statement_mem 或提交查询的资源队列的内存限制。
当 gp_resqueue_memory_policy =auto 时，statement_mem 和资源队列内存限制控制查询内存使用量。
如果查询需要额外的内存，则使用磁盘上的临时溢出文件。
该计算可用于估计各种情况的合理值。
```
( gp_vmem_protect_limitGB * .9 ) / max_expected_concurrent_queries
```
将 gp_vmem_protect_limit 设置为 8192MB（8GB）并假设最多包含 10% 缓冲的 40 个并发查询。
```
(8GB * .9) / 40 = .18GB = 184MB
```
更改 max_statement_mem 和 statement_mem 时，必须先更改 max_statement_mem，或者先在 postgresql.conf 文件中列出。
仅当资源管理设置为资源队列时，statement_mem 服务器配置参数才会生效。

数据类型	默认值	取值范围	设置分类
int	128000	50 ～ INT_MAX	master；session；reload