国产化替代
文档
博客
新闻
关于我们
下载

YMatrix 文档

快速上手

集群部署

数据模型

数据写入

数据查询

SQL参考

运维监控

工具指南

故障诊断

常见问题（FAQ）

场景应用
版本历史

从 MatrixDB 4 迁移数据到 MatrixDB 4

此部分文档主要介绍从 MatrixDB 4 迁移数据到 MatrixDB 4 的最佳实践。

1 环境准备

一旦你决定进行一项重要操作，就要做好充分的准备再开始，不管是实际的条件准备还是心理准备（因为可能时刻会遇到问题）。心理准备每个人有自己的方式，条件准备我们会为你列出相对完整的方案，其中有可选的步骤，如下：

序号 准备步骤 说明 可选
1 备份源集群数据 数据迁移对源集群数据只有读操作，没有写操作，因此不涉及因迁移而带来的数据损坏风险 是
2 安装并部署目标数据库软件 否，必要步骤
3 为目标集群部署监控 视需求而定 是
4 禁止业务端所有 DDL 操作 此步是重要步骤，会给迁移执行带来风险，请务必重视 否，必要步骤
5 中断所有业务连接 此步是重要步骤，会给迁移执行带来风险，请务必重视 否，必要步骤
6 收集源集群及目标集群信息 软硬件配置信息、源集群拓扑信息、目标集群拓扑信息等 否，必要步骤
7 备份源集群源信息 DDL、模式名、用户信息等 否，必要步骤
8 为源集群及目标集群的所有节点添加白名单 否，必要步骤
9 为目标集群创建用户 否，必要步骤
10 为目标集群创建 DDL 在 MatrixDB 中，在执行完迁移操作后再重新创建索引效率更高，因此在迁移前为目标集群创建 DDL 时，推荐不带有索引创建语句 否，必要步骤
11 恢复表结构 否，必要步骤

根据上表，我们给出具体的示例。

1.1 备份源集群数据

数据迁移对源集群数据只有读操作，没有写操作，因此不涉及因迁移而带来的数据损坏风险。但如果你还是不放心，或者有其他需要用到数据的业务需求，那么可以使用 mxbackup 工具来实现集群并行备份。

1.2 安装并部署目标数据库软件

注意！
我们推荐你在部署集群时不部署镜像节点（Mirror），在迁移执行完成后再添加，以提高迁移效率。

注意！
目标集群主机名与源集群不可重复！

请参考标准集群部署文档：

1.3 为目标集群部署监控

请参考监控报警文档：

1.4 禁止业务端所有 DDL 操作

注意！
在正式停止业务端所有业务前，源 MatrixDB 4 集群业务端不允许执行任何 DDL，包括创建对象，修改对象、添加字段，删除字段，禁止执行 CREATE、ALTER、TRUNCATE、DROP 语句。

1.5 中断所有业务连接

在源 MatrixDB 4 集群 Master 上修改 pg_hba.conf 文件。

$ vim  pg_hba.conf

以如下格式添加业务客户端地址，以禁用远程访问。

host     all         all         <客户端 IP 地址>/<子网掩码位数>       reject

随后重新加载配置，让修改后的配置文件生效

$ gpstop -u

1.6 收集源集群及目标集群信息

收集源集群及目标集群信息，包含物理机数量、操作系统、CPU、内存、磁盘类型、磁盘用量、网卡信息、源集群拓扑、目标集群拓扑、数据库许可证、资源组配置等，视具体场景加以使用调整，以做好全面的迁移执行准备。可能会用到以下命令：

序号 命令 用途
1 free -g 查看操作系统内存信息
2 lscpu 查看 CPU 数量
3 cat /etc/system-release 查看操作系统版本信息
4 uname -a 以如下次序输出所有内核信息（其中若 -p 和 -i 的探测结果不可知则被省略）：内核名称；网络节点上的主机名；内核发行号；内核版本；主机的硬件架构名称；处理器类型（不可移植）；硬件平台或（不可移植）；操作系统名称
5 tail -11 /proc/cpuinfo 查看 CPU 信息
6 gpcheckperf 网络性能、带宽、磁盘 I/O 性能检测

1.7 备份源集群源信息

在超级用户下，使用 pg_dump 工具备份源 MatrixDB 4 集群 DDL、模式名、用户信息等。

# 备份全局用户对象
$ pg_dumpall -g -f global_user.sql

# 备份表结构
$ pg_dump <源数据库名> -s -f orig.sql          

# 复制一份备用
$ cp orig.sql copy.sql

生成创建索引的 SQL 文件。

$ cat get_index.sql 
WITH soi (oid, toid, SIZE, tschema, tname) AS
  ( SELECT soioid,
           soitableoid,
           soisize,
           soitableschemaname,
           soitablename
   FROM gp_toolkit.gp_size_of_index 
  ),
  childrel (oid, coid)AS
  ( SELECT t.parentrelid::oid, 
           t.relid::oid 
    FROM pg_partitioned_table, pg_partition_tree(partrelid) t 
    where t.isleaf
  ),
  irn (oid, toid, SIZE, tschema, tname, rn) AS
  ( SELECT *,
           row_number() OVER (
            ORDER BY dt.ssize DESC) rn
   FROM
     ( SELECT soi.oid,
              soi.toid ,
              sum(coalesce(dt2.SIZE, soi.SIZE)) ssize ,
                                                soi.tschema,
                                                soi.tname
      FROM soi
      LEFT JOIN
        ( SELECT childrel.oid,
                 soi.SIZE
         FROM soi
         INNER JOIN childrel ON soi.toid = childrel.coid ) dt2 ON soi.toid = dt2.oid
      GROUP BY 1,
               2,
               4,
               5 ) dt )
SELECT SQL || ';'
FROM
  ( SELECT pg_get_indexdef(oid) AS SQL ,
           (rn % 12 + (rn / 12)::int) % 12 AS orderkey
   FROM irn
   WHERE toid NOT IN
       (SELECT coid
        FROM childrel) ) dt
WHERE SQL NOT LIKE 'CREATE UNIQUE INDEX%'
ORDER BY dt.orderkey ;

通过 psql 执行上述 SQL。

$ psql -d <源数据库名> -U mxadmin -t -f get_index.sql > index.sql

1.8 为源集群及目标集群的所有节点添加白名单

注意！
如果源集群与目标集群在同一台服务器上运行，略过此步骤即可。

在源集群及目标集群的 Master 执行以下命令，增加源集群与目标集群所有节点的主机 IP 地址到 pg_hba.conf 文件中，示例中的 IP 地址和子网掩码为 172.16.100.2/32 及 172.16.100.3/32。

注意！
如果有多台主机，那么你需要将所有主机 IP 均写入脚本。 

$ cat  config_hba.sh
#!/bin/bash
for line  in `psql -Atc "select hostname||','|| datadir
 from gp_segment_configuration order by datadir desc"`
do
    hostname=`echo $line|awk -F "," '{print $1}'`
    datadir=`echo $line|awk -F "," '{print $2}'`

    gpssh -h $hostname -v -e "echo host    all    all    172.16.100.2/32    md5>> ${datadir}/pg_hba.conf"
    gpssh -h $hostname -v -e "echo host    all    all    172.16.100.3/32    md5>> ${datadir}/pg_hba.conf"

done

在源集群及目标集群的 Master 执行以下命令，增加源集群与目标集群所有节点的主机 IP 地址和主机名到 /etc/hosts 文件中，示例中主机 IP 地址为 172.16.100.195，主机名为 sdw1。

$ cat  add_hosts.sh 
#!/bin/bash
for line  in `psql -Atc "select distinct  hostname from gp_segment_configuration order by datadir desc"`
do
    gpssh -h $hostname -v -e "echo 172.16.100.195 sdw1 >> /etc/hosts"

done

随后重新加载配置，让修改后的配置文件生效

$ gpstop -u

1.9 为目标集群创建用户

在目标 MatrixDB 4 集群环境下执行以下命令。

$ psql -h <MatrixDB 服务器 IP 地址> -p  <目标集群端口号> -d <目标数据库> -U <目标数据库超级用户名> -f global_user.sql

1.10 为目标集群创建 DDL

在目标 MatrixDB 4 集群环境下执行以下命令。

$ psql -h <MatrixDB 服务器 IP 地址> -p  <目标集群端口号> -d <目标数据库> -U <目标数据库超级用户名> -f orig.sql

1.11 恢复表结构

使用备份好的 orig.sql 文件在目标 MatrixDB 4 集群恢复表结构。

$ time psql -d <目标数据库名> -f orig.sql > restoreddl.log  2>&1 &

2 迁移执行

注意！
mxshift 详细参数介绍请见 mxshift

首先编写配置文件 config_path.toml。

[database]
        [database.source]
        ## Name of database
        db-database= "testdb"
        ## Hostname of database master
        db-host="sdw3"
        ## password of database
        db-password="xxxx"
        ## Port of database master
        db-port=54322
        ## user name of database
        db-user="mxadmin"

    [database.target]
        ## Name of database
        db-database="destdb"
        ## Hostname of database master
        db-host="172.16.100.32"
        ## password of database
        db-password="yyyy"
        ## Port of database master
        db-port=5432
        ## user name of database
        db-user="mxadmin"

[scope]
compress_method="lz4"
gphome="/opt/ymatrix/matrixdb5"
mode="normal"
        [[scope.table-list]]
                schema="test_schema_1"
                name="table_001"
        [[scope.table-list]]
                schema="test_schema_2"
                name="table_002"

        [[scope.exclude-table-list]]
                schema="test_schema_3"
                name="table_003"

         schema-list=["test_schema_1", "test_schema_2"]
         exclude-schema-list=["test_schema_5", "test_schema_8"]

[log]
log-level="info"
## Print log without color.
# no-color=false

[controller]
both-way=true
concurrency=5

[transfer]
verify=true
[transfer.table-data-where-sql]
enabled=false
global="txdate >= '2022-10-01' AND batchnum >= 100000000"
[[transfer.table-data-where-sql.override]]
        where="abc > 10"
        [transfer.table-data-where-sql.override.table]
        schema="test_schema_1"
        name="table_001"
[[transfer.table-data-where-sql.override]]
        where="tag != 'aabbcc' AND ts > '2022-01-01'"
        [transfer.table-data-where-sql.override.table]
        schema="test_schema_2"
        name="another_table"

[ddl]
enabled=true
# file-path="/tmp/mxshift.sql"
# mode="output"
only-ddl=false
## During the DDL transfer, whether to skip the transfer of resource queue or group, by default, it is true.
# skip-resource-queue-and-group=true
## During the DDL transfer, whether to skip the transfer of tablespace, by default, it is true.
# skip-table-space=true
        [[ddl.replace]]
        ## Only applicable for the case of migration from Greenplum to YMatrix
                category="role"
                [[ddl.replace.pairs]]
                        old="mxadmin"
                        new="mxadmin"

然后在目标 MatrixDB 4 集群上执行数据迁移。

$ mxshift -c config_path.toml

3 后续任务

3.1 执行创建索引

在目标 MatrixDB 4 集群上执行创建索引。

$ psql -h localhost -p  <目标集群端口号> -d <目标数据库名> -U <目标数据库超级用户名> -f index.sql >>idx.out 2>&1 &

3.2 执行 analyzedb 命令

在目标 MatrixDB 4 集群上更新全库统计信息。

$ export PGPORT=<目标集群端口号>
time analyzedb -d <目标数据库名> -p 10 -a

3.3 添加镜像节点（Mirror）

在目标 MatrixDB 4 集群上添加 Mirror 。步骤示例如下：

# 首先，查看当前集群实例信息
postgres=# SELECT * from gp_segment_configuration order by 1;
 dbid | content | role | preferred_role | mode | status | port | hostname | address |                   datadir
------+---------+------+----------------+------+--------+------+----------+---------+---------------------------------------------
    1 |      -1 | p    | p              | n    | u      | 5432 | mdw      | mdw     | /home/mxdata_20220925154450/master/mxseg-1
    2 |       0 | p    | p              | n    | u      | 6000 | sdw2     | sdw2    | /home/mxdata_20220925154450/primary/mxseg0
    3 |       1 | p    | p              | n    | u      | 6001 | sdw2     | sdw2    | /home/mxdata_20220925154450/primary/mxseg1
    4 |       2 | p    | p              | n    | u      | 6000 | sdw3     | sdw3    | /home/mxdata_20220925154450/primary/mxseg2
    5 |       3 | p    | p              | n    | u      | 6001 | sdw3     | sdw3    | /home/mxdata_20220925154450/primary/mxseg3
    6 |      -1 | m    | m              | s    | u      | 5432 | sdw1     | sdw1    | /home/mxdata_20220925154450/standby/mxseg-1
(6 rows)

# 创建一个包含所有主机名（hostname）的文件
$ cat /home/mxadmin/seg_hosts 
sdw1
sdw2
sdw3
sdw4

# 通过 gpssh 命令批量增加 Mirror 目录
$ gpssh -f /home/mxadmin/seg_hosts -e 'mkdir -p /home/mxdata_20220925154450/mirror'

# 生成 Mirror 模板文件
$ gpaddmirrors -o ./addmirror

# 查看 Mirror 模板文件
$ cat addmirror

# 执行增加 Mirror 操作
$ gpaddmirrors -i addmirror

# 最后，再次查看集群实例
postgres=# SELECT * from gp_segment_configuration order by 1;
 dbid | content | role | preferred_role | mode | status | port | hostname | address |                   datadir
------+---------+------+----------------+------+--------+------+----------+---------+---------------------------------------------
    1 |      -1 | p    | p              | n    | u      | 5432 | mdw      | mdw     | /home/mxdata_20220925154450/master/mxseg-1
    2 |       0 | p    | p              | n    | u      | 6000 | sdw2     | sdw2    | /home/mxdata_20220925154450/primary/mxseg0
    3 |       1 | p    | p              | s    | u      | 6001 | sdw2     | sdw2    | /home/mxdata_20220925154450/primary/mxseg1
    4 |       2 | p    | p              | s    | u      | 6000 | sdw3     | sdw3    | /home/mxdata_20220925154450/primary/mxseg2
    5 |       3 | p    | p              | s    | u      | 6001 | sdw3     | sdw3    | /home/mxdata_20220925154450/primary/mxseg3
    6 |      -1 | m    | m              | s    | u      | 5432 | sdw1     | sdw1    | /home/mxdata_20220925154450/standby/mxseg-1
    7 |       0 | m    | m              | n    | d      | 7000 | sdw3     | sdw3    | /home/mxdata_20220925154450/mirror/mxseg0
    8 |       1 | m    | m              | s    | u      | 7001 | sdw3     | sdw3    | /home/mxdata_20220925154450/mirror/mxseg1
    9 |       2 | m    | m              | s    | u      | 7000 | sdw2     | sdw2    | /home/mxdata_20220925154450/mirror/mxseg2
   10 |       3 | m    | m              | s    | u      | 7001 | sdw2     | sdw2    | /home/mxdata_20220925154450/mirror/mxseg3
(10 rows)

完成以上步骤后，恢复业务访问并观察业务运行情况，持续跟踪一段时间（具体时间据具体时序场景而定），如稳定运行则恭喜数据迁移成功完成！