mxbackup

本文档介绍了集群并行备份工具 mxbackup。

1 描述

mxbackup 用来做集群的并行备份。备份后的数据需要使用 mxrestore来恢复。
mxbackup 支持 S3 对象存储插件，可将数据通过流式复制的方式直接上传到 S3 对象存储，没有额外的 I/O 开销。使用 S3 对象存储来备份和恢复数据需要准备好相关账号、bucket 权限，同时编写好 YAML 配置文件。具体配置参数及使用方法请见下文。

2 参数信息

2.1 mxbackup 命令行参数

参数名	描述
--backup-dir directory	写入备份文件的绝对路径
--compression-level level	压缩级别，范围 1-9，默认 1
--data-only	只备份数据，不备份模式（Schema）
--dbname db	需要备份的数据库
--debug	输出调试级别的日志信息
--exclude-schema schema	在备份时排除的schema，该参数可以通过使用多次来指定多个 Schema
--exclude-schema-file file	一个包含需要排除的 Schema 列表文件
--exclude-table table	在备份时排除的表，该参数可以通过使用多次来指定多个表
--exclude-table-file file	一个包含需要排除的表的列表文件
--from-timestamp timestamp	增量备份时的起始时间戳，需要和 `--incremental` 参数一起使用
--help	显示帮助信息
--history	显示当前备份目录的历史时间戳
--include-schema schema	指定需要备份的 Schema，可以通过多次使用来指定多个 Schema
--include-schema-file file	指定包含需要备份的 Schema 列表文件
--include-table table	指定需要备份的表，可以通过多次使用来指定多个表
--include-table-file file	指定包含需要备份的表的列表文件
--incremental	增量备份，适用于 AO 表。需要和 `--from-timestamp` 参数一起使用
--jobs num	备份时的并发连接数，默认为 1
--leaf-partition-data	在备份分区表时，为每个分区创建单独的数据文件
--metadata-only	只备份元数据，不备份表中数据
--no-compression	不对表数据做压缩
--plugin-config file	指定插件配置文件的位置
--quiet	不显示所有非告警、非错误日志信息
--single-data-file	备份数据到一个单独的文件而不是一个表一个文件
--verbose	打印详细日志信息
--version	打印工具版本号并退出
--with-stats	备份统计信息
--without-globals	不备份全局元数据

2.2 S3 对象存储插件配置文件参数

参数名	描述	必选
executablepath	s3存储插件的绝对路径	是
region	云平台的区域，如果配置了终端节点（endpoint），区域将会被忽略	是
aws_access_key_id	用以连接 S3 存储桶（bucket）的云平台 S3 ID	是
aws_secret_access_key	云平台 S3 ID 的密码	是
bucket	用来存储 mxbackup 数据文件的 S3 存储桶	是
endpoint	S3 的终端节点接口	否
encryption	是否开启 S3 的 SSL 安全加密。有效值为 on 和 off，默认 on	否
http_proxy	用来连接 S3 的 HTTP 代理服务器的网址	否
backup_max_concurrent_requests	mxbackup 的请求并发数，默认值为 6	否
backup_multipart_chunksize	mxbackup 的最大缓存/块大小，默认值为 500MB	否
restore_max_concurrent_requests	mxrestore 的请求并发数，默认值为 6	否
restore_multipart_chunksize	mxrestore 的最大缓存/块大小，默认值为 500MB	否

配置文件模版如下，选取需要的参数行，并将 “<>” 或 “[]” 中内容（及 "<>"、“[]” 符号）替换为实际内容即可。

$ executablepath: <absolute-path-to-gpbackup_s3_plugin>
  options: 
  region: <云平台区域>
  endpoint: <S3 终端节点>
  aws_access_key_id: <用户 ID>
  aws_secret_access_key: <用户密钥>
  bucket: <S3 存储桶>
  folder: <S3 上存储数据的文件目录>
  encryption: [on|off]
  backup_max_concurrent_requests: [int]
  backup_multipart_chunksize: [string] 
  restore_max_concurrent_requests: [int]
  restore_multipart_chunksize: [string] 
  http_proxy:
        <http://<用户名>:<安全密钥>@proxy.<域名>.com:端口号>

3 示例

3.1 mxbackup 基本功能

示例中数据库名为 demo，模式名为 twitter。

备份数据库。

$ mxbackup --dbname demo

备份 demo 数据库除 twitter 模式以外的数据。

$ mxbackup --dbname demo --exclude-schema twitter

仅备份 demo 数据库 twitter 模式下的数据。

$ mxbackup --dbname demo --include-schema twitter

备份 demo 数据库并将备份数据存储到 /home/mxadmin/backup 目录。

$ mxbackup --dbname demo --backup-dir /home/mxadmin/backup

3.2 S3 对象存储插件使用

3.2.1 使用准备

在使用 S3 对象存储来备份和恢复你的数据之前，你需要首先拥有云平台的账号及存储桶（Bucket）权限。包括但不限于以下权限内容：

可上传，删除文件到 S3。
可打开，浏览，下载 S3 中的文件。

3.2.2 使用示例

首先，你需要准备 S3 对象存储插件的配置文件 s3-config-file.yaml。此示例中配置了部分常用参数，更多参数说明请见上文 2.2 部分。

$ executablepath: $GPHOME/bin/mxbackup_s3_plugin # S3 存储插件的绝对路径
options: 
  region: us-west-2  # 云平台区域
  aws_access_key_id: test-s3-user # 登陆 S3 的 ID
  aws_secret_access_key: asdf1234asdf # 登陆 S3 的密钥
  bucket: matrixdb-backup # S3 存储桶
  folder: backup3 # S3 对象存储中的文件目录名

随后，使用 mxbackup 工具并行备份 demo 数据库中的数据。

$ mxbackup --dbname demo --plugin-config /tmp/s3-config-file.yaml

mxbackup 备份数据成功后，会在 S3 对象存储中生成一个时间戳目录。备份成功后可使用 mxrestore 工具恢复 S3 上的数据。

$ backup3/backups/20221208/20221208185654

注意！
mxbackup 工具的日志文件目录为 <gpadmin_home>/gpAdminLogs/gpbackup_s3_plugin_timestamp.log，其中时间戳格式为 YYYYMMDDHHMMSS。

注意！
YMatrix 更多备份与恢复数据相关信息请见备份与恢复，恢复数据工具相关信息请见 mxrestore。