对接 Prometheus 监控生态

YMatrix 还提供了自研的 exporter,可以完美对接到 Prometheus 监控生态中。

需要注意的是,YMatrix 的 exporter 及相应的 Dashboard 仅包含数据库自身的监控,不包含操作系统指标监控。操作系统相关指标监控需要额外的 exporter 支持,如 node_exporter。模块布局如下: 模块布局图

1 部署

YMatrix exporter 已包含在 YMatrix 的安装包中,激活即可使用。然后安装与部署 node_exporter、Grafana、Prometheus。

1.1 激活 YMatrix exporter

  • 创建 matrixmgr 数据库
createdb matrixmgr;
  • 连接到 matrixmgr 数据库, 创建 matrixts 和 matrixmgr 扩展,并激活 exporter
psql -d matrixmgr

matrixmgr=# CREATE EXTENSION matrixts;
matrixmgr=# CREATE EXTENSION matrixmgr;

matrixmgr=# SELECT mxmgr_init_exporter();

成功后,可以观察到 matrixmgr 数据库下出现了名为 “exporter” 的新模式。该模式下的表和视图包含了集群的监控和配置信息。请勿自行更改这些表和视图的定义及内容。

该命令会在集群所有机器上启动 matrixdb_exporter。

注意!
如果集群已经启动了旧监控系统,需要先将旧监控系统关闭,否则会失败。 关闭方法:SELECT mxmgr_remove_all('local');

1.2 node_exporter 安装与配置

node_exporter 用来监控操作系统相关指标。从官网下载最新版本的 node_exporter。这里以 1.3.1 为例(使用 root 用户操作)。

# 下载 node_exporter
wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz

# 解压缩安装包
tar -xvf node_exporter-1.3.1.linux-amd64.tar.gz -C /usr/local

# 建立软链接
ln -s /usr/local/node_exporter-1.3.1.linux-amd64/ /usr/local/node_exporter

# 生成 systemctl 配置文件
cat << EOF > /usr/lib/systemd/system/node_exporter.service
[Service]
User=root
Group=root
ExecStart=/usr/local/node_exporter/node_exporter

[Install]
WantedBy=multi-user.target

[Unit]
Description=node_exporter
After=network.target

EOF

# 启动 node_exporter
systemctl start node_exporter
systemctl status node_exporter
systemctl enable node_exporter

注意!
node_exporter 在集群所有主机上都需要部署,所以上述步骤在集群所有主机上都要执行一遍。

1.3 Prometheus 安装与配置

准备一台可以访问到集群所有主机 exporter 端口的主机,可以是 Master 或者 Standby Master 节点,也可以是一台单独的机器(Linux、MacOS、Windows等系统均可)。

安装 Prometheus 最新版本。官方下载安装链接为 https://prometheus.io/download/

下文的命令以 CentOS 7 为例描述操作方法,其他操作系统的命令请参考对应操作系统使用指南。

  • 下载和安装 Prometheus(需要 root 权限)

    注意!
    安装 Prometheus 过程中,可以选择是否安装 mxgate 监控界面,以下示例持有 mxgate 监控安装代码,如不安装,删掉该段代码即可。具体见示例代码注释。

# 下载安装包
wget https://github.com/prometheus/prometheus/releases/download/v2.36.1/prometheus-2.36.1.linux-amd64.tar.gz
# 解压到 /usr/local 并建立软链接
tar -xf ./prometheus-2.36.1.linux-amd64.tar.gz -C /usr/local
ln -s /usr/local/prometheus-2.36.1.linux-amd64/ /usr/local/prometheus
# 创建 Prometheus 用户
useradd -s /sbin/nologin -M prometheus
# 创建数据目录
mkdir /data/prometheus -p
# 修改目录所属用户和组
chown -R prometheus:prometheus /usr/local/prometheus/ 
chown -R prometheus:prometheus /data/prometheus/
# 配置 systemctl
cat << EOF > /etc/systemd/system/prometheus.service 
 [Unit] 
 Description=Prometheus 
 Documentation=https://prometheus.io/ 
 After=network.target 

 [Service] 
 Type=simple 
 User=prometheus 
 ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml --storage.tsdb.path=/data/prometheus
 Restart=on-failure 

 [Install] 
 WantedBy=multi-user.target

EOF

# 修改 Prometheus 配置文件
# 在 scrape_configs 中添加 matrixdb 和 node exporter 的 IP 和端口
# (matrixdb_exporter 默认端口 9273,node_exporter 默认端口 9100):
# 还需要注意一点,matrixdb 和 mxgate 的监控图通过 matrixdb_cluster 变量做集群筛选,
# 所以要增加 relabel_configs 配置,将 job 标签替换成 matrixdb_cluster,
# replacement 中填写集群名称
# 可参考如下配置:
scrape_configs:
  - job_name: "matrixdb_exporter"
    relabel_configs:
      - source_labels: ['job']
        regex: .*
        target_label: matrixdb_cluster
        replacement: cluster1
        action : replace
    static_configs:
      - targets: ["localhost:9273"]
  - job_name: "node_exporter"
    static_configs:
      - targets: ["localhost:9100"]

# 当集群包含多台主机时,需要将每台主机的 IP 端口都添加到 targets 数组里
# 例如:
scrape_configs:
  - job_name: "matrixdb_exporter"
    relabel_configs:
      - source_labels: ['job']
        regex: .*
        target_label: matrixdb_cluster
        replacement: cluster1
        action : replace
    static_configs:
    - targets: ["192.168.0.1:9273", "192.168.0.2:9273", "192.168.0.3:9273"]
  - job_name: "node_exporter"
    static_configs:
    - targets: ["192.168.0.1:9100", "192.168.0.2:9100", "192.168.0.3:9100"]

# 如果你想要部署 mxgate 监控,那么需要在此位置添加以下段,后重启 Prometheus。此段代码非必须。
  - job_name: "gate_exporter"
    relabel_configs:
      - source_labels: ['job']
        regex: .*
        target_label: matrixdb_cluster
        replacement: cluster1
        action : replace
    static_configs:
      - targets: ["192.168.0.1:9275"]

# 注意:在编辑 yaml 文件时要注意缩进,否则会出现语法错误,导致无法启动

# 启动 Prometheus
systemctl start prometheus
systemctl status prometheus
systemctl enable prometheus

启动后,便可以通过 Prometheus 提供的 UI 界面访问 WebUI,并查看运行状态,http://IP:9090/

在 Prometheus 主面板中选择 Status->Targets 查看数据源1

会看到刚刚配置好的 matrixdb_exporter 和 node_exporter 以及 Prometheus 自身的 exporter 状态都是 UP,说明监控部署成功。 查看数据源2

1.4 Grafana 安装与配置

Prometheus 用来存储监控数据,Grafana 从 Prometheus 拉取监控数据并展示。和安装 Prometheus 一样,准备一台可以访问 Prometheus 的机器(Grafana 和 Prometheus 可以安装在同一台机器上)。

需要注意的是,Grafana 版本不能低于 8.0.0,建议最新版本。官方下载安装链接为 https://grafana.com/grafana/download

下文的命令以 CentOS 7 为例描述操作方法,其他操作系统的命令请参考对应操作系统使用指南(需要使用 root 用户操作)。

  • 下载和安装 Grafana
wget https://dl.grafana.com/enterprise/release/grafana-enterprise-8.5.5-1.x86_64.rpm
yum install grafana-enterprise-8.5.5-1.x86_64.rpm
  • 启动 Grafana
sudo systemctl daemon-reload
sudo systemctl start grafana-server
sudo systemctl status grafana-server
sudo systemctl enable grafana-server

安装完成后,使用浏览器访问宿主机的 3000 端口:

http://<安装节点的IP或者域名>:3000

可以看到 Grafana 首页。使用默认的用户名和密码(admin / admin)登录。为确保安全,请自行更改密码。

1.5 添加数据源与面板

exporter、Prometheus、Grafana 安装部署完毕后,接下来要加载 dashboard,以展示监控图表。

每个 dashboard 都依赖数据源,所以首先要添加数据源:

  1. 在 Grafana 主界面上点击设置按钮,选择 Data Sources添加数据源1

  2. 然后点击 Add data source添加数据源2

  3. 在数据库类别里选择 Prometheus添加数据源3

  4. 数据源名称里给该数据源起个名字,如:MatrixDB-Prometheus;然后在 URL 中填写 Prometheus 的 IP 和端口: 添加数据源4

  5. 数据源添加好后,下面加载 Dashboard。在 Grafana 主面板上点击加号按钮,然后选择 Import添加dashboard_1

  6. Import 有几种方式:官方 URL 或 ID、将 Json 粘贴到文本框中、从文件加载。这里我们选择从文件加载,matrixdb 的 Prometheus Dashboard 在安装目录中的 $GPHOME/share/doc/postgresql/extension/PrometheusDashboard.json,加载该文件: 添加dashboard_2

加载文件的时候需要选择 Prometheus 数据源,这里选择刚才创建的源。 添加dashboard_3

然后,即可在面板列表里看到刚刚加载的面板。

面板监控详细解读请参考 YMatrix 监控参数解读

1.6 添加 node_exporter 面板

上面的操作步骤演示了如何添加 YMatrix 的 Prometheus Dashboard。下面介绍一下如何将 node_exporter 的 Dashboard 也部署好。

加载 node_exporter 的 Dashboard:因为 Grafana 官网中已发布了对应的 Dashboard,所以直接填写ID加载即可。

在加载的过程中需要选择数据源,选择刚才添加的 MatrixDB-Prometheus 源即可。如果 node_exporter 有独立的 Prometheus 集群,则需要单独添加数据源。 node_exporter_2

2 管理

激活了集群状态采集后,每个主机都会运行采集服务,相关日志保存在 /var/log/matrixdb 目录下。

如果重启 YMatrix,或者重启服务器后再启动 YMatrix,YMatrix exporter也会自动启动,无需人工干预。

如需关闭 matrixdb exporter 服务,可连接到 matrixmgr 数据库并执行 mxmgr_remove_exporter 命令:

psql -d matrixmgr

matrixmgr=# SELECT mxmgr_remove_exporter();

如需再次激活数据采集,可连接到 matrixmgr 数据库并执行 mxmgr_deploy_exporter 命令:

matrixmgr=# SELECT mxmgr_deploy_exporter();

注意!
mxmgr_remove_exporter 只会关闭 matrixdb exporter,node_exporter、Grafana、Prometheus需要单独关闭。

3 升级

旧监控系统升级到对接 Prometheus 生态的新监控。

首先完成 Prometheus 安装和部署,并将 Grafana 升级到最新版本:

# 先将旧监控关闭
psql -d matrixmgr
matrixmgr=# SELECT mxmgr_remove_all('local');

# 初始化并启动新监控
matrixmgr=# SELECT mxmgr_init_exporter();

注意!
新旧监控也可以同时部署,即在不关闭旧监控的前提下也可以启动新监控,只是有些冗余。

4 MatrixGate 监控面板部署

作为高性能数据接入组件MatrixGate,同样兼容Prometheus监控生态。通常情况下MatrixDB的监控数据和MatrixGate的监控数据都存储在相同的Prometheus系统中,下面操作步骤也都做这样假定。

4.1 部署 gate_exporter

与 YMatrix exporter 一样,部署 gate exporter 同样需要创建 matrixmgr 数据库与 matrixtsmatrixmgr 扩展。这里假设已创建完毕。

然后调用 mxmgr_init_gate_exporter 初始化并启动:

matrixmgr=# SELECT mxmgr_init_gate_exporter();

成功后,可以观察到 matrixmgr 数据库下出现了名为 “gate_exporter” 的新模式。该模式下的表和视图包含了 gate 的监控和配置信息。请勿自行更改这些表和视图的定义及内容。

该命令会在 Master 主机上启动 gate_exporter。

如要关闭 gate_exporter 则执行 mxmgr_remove_gate_exporter

matrixmgr=# SELECT mxmgr_remove_gate_exporter();

再次启动则执行 mxmgr_deploy_gate_exporter

matrixmgr=# SELECT mxmgr_deploy_gate_exporter();

4.2 加载监控面板

和加载 YMatrix 监控面板一样,MatrixGate 的面板文件在 $GPHOME/share/doc/postgresql/extension/MxgateDashboard.json,加载该文件即可。

面板监控详细解读请参考 MatrixGate 监控参数解读