400-800-0824
info@ymatrix.cn
400-800-0824
info@ymatrix.cn
400-800-0824
info@ymatrix.cn
400-800-0824
info@ymatrix.cn
400-800-0824
info@ymatrix.cn
YMatrix 文档
关于 YMatrix
标准集群部署
数据写入
数据迁移
数据查询
运维监控
参考指南
工具指南
数据类型
存储引擎
执行引擎
系统配置参数
SQL 参考
常见问题(FAQ)
新架构 FAQ
集群部署 FAQ
SQL 查询 FAQ
MatrixGate FAQ
运维 FAQ
监控告警 FAQ
PXF FAQ
PLPython FAQ
性能 FAQ
本文档介绍了系统配置参数中 资源消耗类别的相关参数。
注意!
为确保系统稳定与安全,请务必谨慎手动修改相关参数。
资源消耗参数分类如下:
指定每个自动清理工作者进程能使用的最大内存量(KB)。
VACUUM
的行为没有影响。-1
,即使用 maintenance_work_mem
的值数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | -1 | -1 ~ (INT_MAX/1024) | segments;system;reload |
指定服务器应该使用的动态共享内存实现。
posix
(用于使用 shm_open 分配的 POSIX 共享内存)、sysv
(用于通过 shmget 分配的 System V 共享内存)、 windows
(用于 Windows 共享内存)、和 mmap
(使用存储在数据目录中的内存映射文件模拟共享内存)。并非所有平台上都支持所有值,平台上第一个支持的选项就是其默认值。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
enum | posix | posix,sysv,windows,mmap | segments;system;restart |
标识要分配给每个 YMatrix 数据库 Segment 节点上的资源组的系统内存资源的最大百分比。
数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
floating point | 0.7 | 0.1 ~ 1.0 | segments;system;restart |
设置活动 Segment 节点实例的所有 postgres 进程可以使用的内存量(MB)。
注意:仅当资源管理设置为资源队列时,gp_vmem_protect_limit
服务器配置参数才会生效。
如果查询导致超出此参数限制,则不会分配内存,查询将失败。
设置此参数时,仅指定数值。例如,要指定 4096MB,请使用值 4096,不要将单位 MB 添加到该值。
为了防止内存过度分配,这些计算可以估计安全的 gp_vmem_protect_limit
值。首先计算值 gp_vmem。 这是主机上可用的 YMatrix 数据库内存。
gp_vmem = ((SWAP + RAM) – (7.5GB + 0.05 * RAM)) / 1.7
其中 SWAP 是主机交换空间,RAM 是主机上的 RAM,以 GB 为单位。
接下来,计算 max_acting_primary_segments
。这是因集群故障而激活 Mirror 时主机上可以运行的 Primary 的最大数量。例如,如果 Mirror 布置在 4 个主机块中,每个主机有 8 个 Primary,则单个 Segment 主机故障将激活故障主机块中每个剩余主机上的两个或三个 Mirror。
此配置的 max_acting_primary_segments
值为 11
(8 个 Primary 加上 3 个失败时激活的 Mirror)。
这是 gp_vmem_protect_limit
的计算。该值应转换为 MB。
gp_vmem_protect_limit = gp_vmem / acting_primary_segments
对于生成大量工作文件的情况,这是计算工作文件的 gp_vmem
的计算。
gp_vmem = ((SWAP + RAM) – (7.5GB + 0.05 * RAM - (300KB * total_#_workfiles))) / 1.7
根据 gp_vmem
值,您可以计算 vm.overcommit_ratio
操作系统内核参数的值。 配置每个 YMatrix 数据库主机时,将设置此参数。
vm.overcommit_ratio = (RAM - (0.026 * gp_vmem)) / RAM
注意:Red Hat Enterprise Linux 中内核参数 vm.overcommit_ratio
的默认值为 50
。
如果你使用了图形化界面来部署,则此参数会根据服务器的硬件资源来计算适配;如果你使用命令行部署,则默认为 8192
。
数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 8192 | 0 ~ (INT_MAX/2) | segments;system;restart |
如果查询执行程序进程消耗的数量超过此参数值(MB),则在进程完成后,将不会高速缓存该进程以用于后续查询。
数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 500 | 1 ~ (INT_MAX/2) | segments;system;restart |
设置每个 Segment 的每个查询允许的临时溢出文件(也称为工作文件)的最大数量。
0
以允许无限数量的溢出文件。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 100000 | 0 ~ INT_MAX | master;session;reload |
设置允许单个查询用于在每个 Segment 创建临时溢出文件的最大磁盘大小(KB)。
0
,表示不强制执行限制。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 0 | 0 ~ INT_MAX | master;session;reload |
设置允许所有正在运行的查询用于在每个 Segment 创建临时溢出文件的最大总磁盘大小(KB)。
0
,表示不强制执行限制。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 0 | 0 ~ INT_MAX | segments;system;restart |
控制是否为主共享内存区域请求巨型页。
try
(默认)、on
以及 off
。如果 huge_pages
被设置为 try
,则服务器将尝试请求巨型页,如果失败则会退回到默认的方式。如果为 on
,请求巨型页失败将使得服务器无法启动。如果为 off
,则不会请求巨型页。try
时,它会被忽略。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
enum | try | on / off / true / false / yes / no / 1 / 0 / try | segments;system;restart |
指定在维护性操作(例如VACUUM、CREATE INDEX和ALTER TABLE ADD FOREIGN KEY)中使用的 最大的内存量(KB)。
work_mem
大很多是安全的。65536KB
,即 64MB。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 65536 | 1024 ~ (INT_MAX/1024) | master;session;reload |
设置可以同时处于准备状态的事务的最大数目(见 PREPARE TRANSACTION)。
max_prepared_transactions
至少设置为 max_connections
一样大,使得每一个会话可以有一个待处理的预备事务。如果你没有使用预备事务的打算,则需设置为 0
。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 50 | 1 ~ 262143 | segments;system;restart |
指定服务器的执行堆栈的最大安全深度(KB)。
ulimit -s
所设置的或者本地等价物),减去大约一兆字节的安全边缘。需要这个安全边缘是因为在服务器中并非所有例程都检查栈深度,只是在关键的可能递规的例程中才进行检查。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 100 | 100 ~ (INT_MAX/1024) | segments;session;reload;superuser |
指定内存阈值。如果分配的内存超过阈值(MB),则将其转储。
数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 1024 | 1 ~ (INT_MAX/2) | master;session;reload |
仅打印比此参数大的内存尺寸(MB)。
数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 1 | 0 ~ (INT_MAX/2) | master;session;reload |
设置 YMatrix 数据库服务器将使用的共享内存缓冲区量(BLOCKS)。
PG:
128KB
且至少为 max_connections * 16KB
。为了更好的性能,通常会使用明显高于最小值的设置。shared_buffers
开始值是系统内存的 25%。即使更大的 shared_buffers
有效,也会造成一些工作负载。为了能把对写大量新的或改变的数据的处理分布在一个较长的时间段内,shared_buffers
更大的设置通常要求对 max_wal_size
也做相应增加。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 4096 | 16 ~ (INT_MAX/2) | segments;system;restart |
指定服务器应用于主共享内存区域的共享内存实现,包括 YMatrix 的共享缓冲区和其他共享数据。
mmap
(对使用 mmap 分配的匿名共享内存),sysv
(通过 shmget 分配的系统 V 共享内存),和 windows
(Windows 共享内存)。并非在所有平台上都支持全部值;第一个被支持的选项是该平台的默认选项。 sysv 选项不是任何平台的默认选项,通常不建议使用,因为它通常需要非默认的内核设置来允许大量的地址分配。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
enum | mmap | mmap,sysv,windows | segments;system;restart |
为每个数据库会话设置用于临时缓冲区的最大内存(BLOCKS)。
temp_buffers
给出的限制根据需要分配临时缓冲区。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 1024 | 100 ~ (INT_MAX/2) | master;session;reload |
设置在写入临时磁盘文件之前查询操作(例如排序或哈希表)可使用的最大内存容量(KB)。
ORDER BY
、DISTINCT
和归并连接都要用到排序操作,而哈希连接、基于哈希的聚集以及基于哈希的 IN
子查询处理中都要用到哈希表。运行中的每个操作都会被允许使用此参数指定的内存量,然后才会开始写数据到临时文件。work_mem
值的好几倍。这是决定此值大小的重要依据。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 32768 | 64 ~ (INT_MAX/1024) | master;session;reload |
指定一个进程能用于临时文件(如排序和哈希临时文件,或者用于保持游标的存储文件)的最大磁盘空间量(KB)。
-1
,即无限制。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | -1 | -1 或 0 ~ INT_MAX | segments;session;reload;superuser |
设置每个服务器子进程允许同时打开的最大文件数目。
Too many open files
这样的失败,请减小此设置。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 1000 | 25 ~ INT_MAX | segments;system;restart |
在 VACUUM
和 ANALYZE
命令的执行过程中,系统维持着一个内部计数器来跟踪各种被执行的 I/O 操作的估算开销。当累计的代价达到一个限制(由 vacuum_cost_limit
指定),执行这些操作的进程将按照 vacuum_cost_delay
所指定的休眠一小段时间。然后它将重置计数器并继续执行。
这个特性的出发点是允许管理员降低这些命令对并发的数据库活动产生的 I/O 影响。在很多情况下,VACUUM
和 ANALYZE
等维护命令能否快速完成并不重要,重要的是这些命令不会对系统执行其他数据库操作的能力产生显著的影响。基于代价的清理延迟提供了一种方式让管理员能够保证这一点。
对于手动发出的 VACUUM
命令,该特性默认被禁用。要启用它,需要把 vacuum_cost_delay
变量设为一个非零值。
当超出开销限制时进程将要休眠的时间量(毫秒)。
0
,这将禁用基于代价的清理延迟特性。正值将启用基于代价的清理。vacuum_cost_delay
的合适值通常很小。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
floating point | 0 | 0 ~ 100 | segments;session;reload |
将导致清理进程休眠的累计代价。
数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 200 | 1 ~ 10000 | segments;session;reload |
当清理修改一个之前干净的块时需要花费的估计代价。它表示再次把脏块刷出到磁盘所需要的额外 I/O。
数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 20 | 0 ~ 10000 | segments;session;reload |
清理一个在共享缓存中找到的缓冲区的估计代价。它表示锁住缓冲池、查找共享哈希表和扫描页内容的代价。
数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 1 | 0 ~ 10000 | segments;session;reload |
清理一个必须从磁盘上读取的缓冲区的代价。它表示锁住缓冲池、查找共享哈希表、从磁盘读取需要的块以及扫描其内容的代价。
数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 10 | 0 ~ 10000 | segments;session;reload |
只要一个后端写入的数据量超过此参数值(BLOCKS)时,就会尝试强制 OS 把这些写入发送到底层存储。
0
,即禁用强制写回。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 0 | 0 ~ 256 | segments;session;reload |
设置 YMatrix 可以同时被执行的并发磁盘 I/O 操作的数量。
1
到 1000
,或 0
表示禁用异步 I/O 请求。posix_fadvise
函数(一些操作系统可能没有)。如果不存在这个函数,将这个参数设置为除 0
之外的任何东西将导致错误。在一些操作系统上(如 Solaris)虽然提供了这个函数,但它不会做任何事情。1
,否则为 0
。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 1 | 0 ~ 1000 | segments;session;reload |
设置单一工具性命令能够启动的并行工作者的最大数目。
max_worker_processes
创建的进程池中取出,数量由 max_parallel_workers
控制。注意:实际在运行时所请求数量的工作者可能不可用。如果发生这种情况,工具性操作将使用比预期数量少的工作者运行。maintenance_work_mem
当作对整个工具性命令的限制,而不管其中用到了多少个并行工作者进程。不过,并行工具性命令实际上可能仍会消耗更多的 CPU 资源和 I/O 带宽。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 2 | 0 ~ 1024 | segments;session;reload |
设置系统为并行操作所支持的工作者的最大数量。
max_parallel_maintenance_workers
以及 max_parallel_workers_per_gather
进行调整。max_worker_processes
将不会产生效果,因为并行工作者进程都是从 max_worker_processes
所建立的工作者进程池中取出来的。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 64 | 0 ~ 1024 | segments;session;reload |
设置单个 Gather 或者 Gather Merge 节点能够开始的工作者的最大数量。
max_worker_processes
建立的进程池中取得,数量由 max_parallel_workers
限制。2
。把这个值设置为 0
将会禁用并行查询执行。work_mem
)时,应该把这个因素考虑在内。work_mem
之类的资源限制会被独立地应用于每一个工作者,这意味着所有进程的总资源利用可能会比单个进程时高得多。例如,一个使用 4 个工作者的并行查询使用的 CPU 时间、内存、I/O 带宽可能是不使用工作者时的 5 倍之多。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 2 | 0 ~ 1024 | master;session;reload |
设置系统能够支持的后台进程的最大数量。
max_parallel_workers
、max_parallel_maintenance_workers
以及 max_parallel_workers_per_gather
进行调整。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | 69 | 1 ~ 262143 | segments;system;restart |
设置在使用快照时,一个快照可以被使用而没有发生 snapshot too old
错误的风险的最小时间(分钟)。
-1
(默认值) 禁用此功能,实际上将快照的时限设置为无穷大。0
或者 1min
)是因为它们有时可能对测试有用。虽然允许高达 86400分钟
(60天) 的设置,但是请注意很多负载情况下,很短的时间帧里就可能发生极大的膨胀或者事务 ID 回卷。snapshot too old
情况所需的信息。所有分配给关系的空间还将与该关系关联在一起便于重用,除非它们被显式地释放(例如,用 VACUUM FULL
)。snapshot too old
错误的可能性。数据类型 | 默认值 | 取值范围 | 设置分类 |
---|---|---|---|
int | -1 | -1 ~ 86400 | segments;system;restart |