MatrixGate 工作原理

MatrixGate(简称 mxgate)是高性能流式数据加载工具,位于 MatrixDB 安装目录下的 bin/mxgate。MatrixGate 当前支持通过 SDK 或 HTTP 和 STDIN API 接口加载数据。数据格式支持 TEXT 和 CSV。

MatrixGate 加载数据的逻辑如下图所示:

MatrixGate 原理图

  1. 数据采集系统采集设备数据或者接收由设备发送来的数据
  2. 采集系统以并发微批的模式向 MatrixGate 的服务进程 mxgate 持续发送数据
  3. mxgate 进程和 MatrixDB 的 主节点(Master)进程高效通信,沟通事务和控制信息
  4. 数据直接发送到数据节点(Segment),并行高速写入。

注意!
MatrixGate 基本使用方法请见快速上手