监控部署
MatrixDB提供原生的基于Grafana的图形化监控工具,本文档描述了部署监控组件和管理使用的步骤。MatrixDB提供了一个缺省的监控面板,可监控下列信息。用户也可以根据系统收集的数据,在Grafana中创建新的面板自定义需要的监控项目。
- 集群状态、版本、当前连接数、启动时间、Segment状态
- 磁盘空间:Master和Segment服务器的当前磁盘使用状况
- 数据库日志:浏览近期数据库上的日志,可以按警告、错误、严重、危重等级别过滤
- 可以查看近期数据库服务器的负载情况,包括:CPU、内存、磁盘IO、网络IO、进程数等
- 可以自由选定全部或部分主机进行查看
- 可以自由选定时间日期范围和自动刷新时间
部署后的效果图如下。从4.4版本开始,监控被分成了两个面板,分别为MatrixDB Dashboard和MatrixDB Database。
MatrixDB Dashboard: MatrixDB Database:
并且为较难理解的面板增加了描述,鼠标悬停在面板左上角的图标即可获取:
1 部署
监控相关组件已包含在MatrixDB的安装包中,在MatrixDB部署后,通过指标采集激活和Grafana安装与配置两步,完成监控部署。
1.1 激活指标采集
通过下述操作可以激活对MatrixDB和系统资源使用的指标采集,并将采集的数据存储到MatrixDB新创建的数据库matrixmgr中。
- 创建matrixmgr数据库
createdb matrixmgr;
- 连接到matrixmgr数据库, 创建matrixts和matrixmgr扩展,并激活指标采集
psql -d matrixmgr
matrixmgr=# CREATE EXTENSION matrixts;
matrixmgr=# CREATE EXTENSION matrixmgr;
matrixmgr=# SELECT mxmgr_init_local();
成功后,可以观察到matrixmgr数据库下出现了名为“local”的新模式。该模式下的表和视图包含了集群的监控和配置信息。请勿自行更改这些表和视图的定义及内容。
1.2 Grafana安装与配置
准备一台可以同时访问到Master和外网的主机,可以是Master或者Standby Master节点,也可以是一台单独的机器(Linux、MacOS、Windows等系统均可)。
安装Grafana软件,建议7.3或更高版本。官方下载安装链接为https://grafana.com/grafana/download。
下文的命令以CentOS 7为例描述操作方法,其他操作系统的命令请参考对应操作系统使用指南。
注意!
YMatrix 支持离线安装 Grafana,具体步骤请见 6 监控 - 问题1
- 下载和安装Grafana
wget https://dl.grafana.com/oss/release/grafana-7.3.6-1.x86_64.rpm
sudo yum install grafana-7.3.6-1.x86_64.rpm
- 启动Grafana
sudo systemctl daemon-reload
sudo systemctl start grafana-server
sudo systemctl status grafana-server
sudo systemctl enable grafana-server
注意: 1) Centos7中yum提供的grafana版本通常比较旧(版本6.x),因此不推荐直接sudo yum install grafana。 2) 完整的官方安装配置流程参见如下链接https://grafana.com/docs/grafana/latest/installation/rpm
安装完成后,使用浏览器访问下述URL,可以看到Grafana首页。这里3000为Grafana默认访问端口,用户可以修改。使用默认的用户名和密码(admin/admin)登录。为确保安全,请自行更改密码,可在登陆后点击左下角的用户头像图标看到修改界面。
http://<安装节点的IP或者域名>:3000
- 配置监控面板
在Grafana安装就绪后,需要添加MatrixDB中的matrixmgr数据库作为一个数据源,并导入预定义的监控面板。
添加数据源的步骤如下:
在导入预定义的报警面板进行部署配置之前,你需要先把 dashboard.json 和 database.json 文件拷贝到本地,思路为:首先在服务器上找到该文件,然后进行复制操作,最后在本地导入上传。具体步骤如下 :
首先登陆服务器,切换至 mxadmin 用户,在图片所示路径处查找到 dashboard.json 和 database.json 文件。你可以使用 cd 命令,也可以使用 find 命令,或是其它任何你擅长使用的方法。此处 find 命令以database.json 文件为例。
[mxadmin@mdw ~]$ cd /usr/local/matrixdb/share/doc/postgresql/extension
##or
[mxadmin@mdw ~]$ find /usr/local/matrixdb/share/doc/postgresql/extension -name database.json
其次,使用 scp 命令将文件复制到本地,此处可能会涉及到权限问题,可以考虑先将文件复制到公用区域 /tmp/ ,再从 /tmp/ 将文件复制到本地。此处以 database.json 文件为例。
注意!
将文件从 /tmp/ 复制到本地时要注意切换用户,以避免权限问题。
[mxadmin@mdw]$ scp mxadmin@< 服务器IP地址 >:/usr/local/matrixdb/share/doc/postgresql/extension/"database.json" mxadmin@< 服务器IP地址 >:/tmp/
~ scp waq@< 服务器IP地址 >:/tmp/"database.json" /Users/akkepler/workplace/Grafana
最后直接点开本地文件夹,或者用命令行检查文件是否复制成功。成功后,dashboard.json 需要修改所有 ${cluster} 为 local ,且 $host 为实际的全部主机名,意思即假如你现在拥有集群 master + 2 segment,名称分别叫做 mdw,sdw1,sdw2,那么你需要将你的 dashboard.json 文件中的所有 $host 均改为 'mdw','sdw1','sdw2' 。database.json 只需修改前者,修改完毕在Grafana界面导入上传文件即可。
2 管理
激活了集群状态采集后,每个主机都会运行采集服务,相关日志保存在/var/log/matrixdb目录下。
如果重启MatrixDB,或者重启服务器后再启动MatrixDB,数据采集服务也会自动启动,无需人工干预。
如需终止数据采集服务,可连接到matrixmgr数据库并执行mxmgr_remove_all命令,终止后已采集的数据会继续保留:
psql -d matrixmgr
matrixmgr=# SELECT mxmgr_remove_all('local');
如人工终止数据采集服务或者MatrixDB重新安装后,需要再次激活数据采集,可连接到matrixmgr数据库并执行mxmgr_deploy命令:
matrixmgr=# SELECT mxmgr_deploy('local');