博客/
博客/
Zabbix官方支持的MySQL和PostgreSQL储存方案都是单机,扩展性不够。而且监控设备、系统指标增加后,插入性能页存在问题。在数据量大的场景下,查询性能也比较差,直接影响了Zabbix可用性和告警及时性。
为了解决这些问题,传统做法会对MySQL和PostgreSQL做分表处理,同时剥离一段时间以前的数据,保留最小需要的数据。其次,部署多套Zabbix系统,分别储存不同的监控数据。
但是,这些做法带来了新的问题,比如监控数据储存不集中,无法提供统一的告警服务、监控管理平台、二次分析聚合困难、架构复杂以及成本高等等。
目前,监控系统的建设目标已经走向精细化、多样化、平台化、统一化、智能化,甚至趋势化预测。大规模监控的数据具有强时间序列、高并发插入、数据量大的特点。
YMatrix 具备超融合数据库特性,底层是MPP架构,可以支持大吞吐量数据高速写入、海量数据存储和计算、具有良好的线性扩展性、能够在线横向扩容,可以更好的协同Zabbix,支持大规模设备、应用、中间件的监控和告警,一站实现高速插入、横向扩展、高性能查询、分析聚合、库内分析挖掘等。
本篇博文将详细介绍Zabbix架构及单机储存方案的现存短板,YMatrix 如何适配 Zabbix,以及对 Zabbix 进行的性能压测情况。
Zabbix是一款功能强大的开源监控软件,它操作简单,适用于多种平台,能够支持虚拟化、云环境等多种场景的监控,且提供开放的、通用的API接口,在各行业都有广泛的使用。
从 Zabbix 的架构图中,我们可以看到,Zabbix常用的储存方案是PostgreSQL和MySQL。
但是从目前中大型公司的实际使用情况来看,常见有几百台,甚至上千台、万台机器。在精细化监控需求的场景,每台机器又有上百个指标,还有各种应用、中间件、网络设备等需要监控。 面对如此海量的监控数据采集、插入、储存、展示需求,单机方案在数据高速插入时,往往构成瓶颈,更别提高效查询和分析处理了。如果遇到突发性的事件,后台负载过高,单机算力不足,会造成大量的告警延迟、展示缓慢等问题。 为了解决这些问题,一般有两种方案: 第一,剥离固定时间以前的数据,只保留部分数据。但审计或需要查询历史数据时,又需要很繁琐的将数据迁移整合。 第二,部署多套Zabbix。这个方案能够缓解部分海量数据插入和查询的问题,但监控数据需要涉及上下游的排查、回溯、根因分析等,需要把数据统一汇聚到一个库,做问题排查与分析。所以,这个方案也产生数据汇聚的新难题,还增加架构复杂度和机器数量,从而加大了管理复杂度和总体成本。 对于想建设一体化的监控平台、达到监控智能化的目标、实现问题根因分析甚至进行趋势预测的企业来说,单机方案的储存、算力和功能都明显不足,急需对Zabbix的底层存储进行适配新的方案。
2、YMatrix Database及底层架构介绍 YMatrix Database是超融合数据库,将交易型数据库(OLTP)、分析型数据库(OLAP)和时序数据库能力融为一体的超融合型分布式数据库产品,具备严格分布式事务一致性、水平在线扩容、安全可靠、成熟稳定、兼容PostgreSQL/Greenplum协议和生态等重要特性。 产品架构图 基于微数据库内核(microdb)的多核开放架构,YMatrix Database内置4个高性能微内核数据引擎,完善支持标准SQL,支持多模数据类型,包括关系数据、时序数据、GIS数据、JSON数据、文本数据、图片等。 同时,YMatrix Database支持多场景操作,包括高并发低延迟增删改查、点查、明细查询、聚合查询、窗口查询、关联查询、多维查询、库内机器学习,一库多用支持大部分数据管理需求。 所以,使用YMatrix Database可以避免为了处理不同类型数据,引入不同类型的产品。实现提高开发运维效率、提升系统性能、降低整体成本的目标,可以广泛用于物联网、车联网、工业互联网、智慧能源、智慧金融、智慧交通、智慧城市、智慧园区、智慧医疗、智慧农业等场景。
产品特性1:大规模实时/准实时数据采集 基于独有专利技术,在支持ACID保证数据严格正确性的前提下实现海量数据的准实时/低延迟数据采集,并具有极佳的线性扩展能力,支持RESTful API,允许上万客户端同时注入数据。
大规模数据量的插入速度 产品特性2:高效数据存储 支持多种压缩方式,压缩比可以多达15:1,有效降低存储开销。 基于独创索引技术,在保证效率的情况下,大大降低索引占用空间。 支持多态存储,为不同特征的数据采用最佳访问模式,在存储空间和访问时间中取得最佳平衡。 产品特性3:10X-100X 查询性能提升 相比于常用时序系统,可以实现高达10倍-100倍以上的性能提升 原生支持时序操作函数,大大简化应用开发,提升效率 支持高级分析能力 分析型查询性能如下:国际TPCH基准测试,多核并行技术充分利用CPU算力,相比Greenplum总体提升TPC-H 22条查询提升4倍,相比Hive等快100 倍 产品特性4:内置机器学习和人工智能算法 YMatrix Database内置60+常见的机器学习算法(包括监督学习、无监督学习、图算法等)和人工智能算法库(包括Tensorflow、Keras等),采用先进的计算贴近海量数据架构,避免了传统机器学习数据贴近计算的束缚,在全量数据上并行训练数据模型,可以大幅提升模型精度和训练速度,实现数据+智能闭包。
3、YMatrix Database适配Zabbix方案 YMatrix Database和PostgreSQL高度兼容,但具备分布式架构、支持横向扩展、海量数据储存、计算。适配Zabbix,需要把表结构改为分布式的表结构。 Zabbix + YMatrix 大规模监控与分析解决方案下载: https://matrixdb-public.oss-cn-beijing.aliyuncs.com/pdf/zabbix_solution.pdf YMatrix X Zabbix适配安装图解,参考blog:
https://YMatrix.cn/blog/20210812-YMatrix Database-zabbixadaptor