从零开始搭建 EMQX 集群压测框架

架构

emqx-brench

在设计以EMQX为中心的MQTT消息队列集群压力测试框架时，我们采用微服务架构模式。EMQX作为消息队列的核心，负责处理MQTT协议的消息发布和订阅。Nginx作为EMQX的反向代理，负责负载均衡和SSL/TLS终端。MQTTX-CLI作为压力测试工具，模拟大量客户端连接和消息交换。

流程

使用Docker Compose定义EMQX集群服务、Nginx服务和MQTTX-CLI测试客户端。
EMQX集群启动并等待客户端连接。
Nginx启动并配置为EMQX集群的入口，处理来自外部的MQTT连接请求。
MQTTX-CLI启动并模拟成千上万的客户端连接到Nginx代理。
收集测试数据，分析EMQX集群的性能和稳定性。

各服务功能

EMQX：高性能的分布式MQTT消息队列，处理消息发布、订阅和路由。
Nginx：反向代理服务器，提供负载均衡、SSL终端、连接限制和访问控制。
MQTTX-CLI：命令行工具，用于模拟大量MQTT客户端进行压力测试。

部署

使用Docker和Docker Compose进行服务的容器化部署。每个服务都被封装在独立的Docker容器中，通过Docker网络进行通信。Docker Compose文件定义了服务的配置、网络和卷挂载。

文件目录

|-- LICENSE
|-- README.md
|-- mqtt-lb-haproxy
`-- mqtt-lb-nginx|-- README.md|-- certs|   |-- cacert.pem|   |-- cert.pem|   |-- client-cert.pem|   |-- client-key.pem|   `-- key.pem|-- docker-compose.yaml|-- mqttx_cli_emqx_tcp.json|-- mqttx_cli_emqx_tls.json`-- nginx.conf

配置文件

version: '3'
services:emqx1:image: emqx/emqx:5.4.1container_name: emqx1hostname: emqx1-cluster.emqx.ioenvironment:- EMQX_NODE__NAME=emqx1@emqx1-cluster.emqx.io- EMQX_CLUSTER__DISCOVERY_STRATEGY=static- EMQX_CLUSTER__STATIC__SEEDS=emqx1@emqx1-cluster.emqx.io,emqx2@emqx2-cluster.emqx.io,emqx3@emqx3-cluster.emqx.ioports:- 18083:18083networks:- emqx-netemqx2:image: emqx/emqx:5.4.1 container_name: emqx2hostname: emqx2-cluster.emqx.ioenvironment:- EMQX_NODE__NAME=emqx2@emqx2-cluster.emqx.io- EMQX_CLUSTER__DISCOVERY_STRATEGY=static- EMQX_CLUSTER__STATIC__SEEDS=emqx1@emqx1-cluster.emqx.io,emqx2@emqx2-cluster.emqx.io,emqx3@emqx3-cluster.emqx.io   networks:- emqx-netemqx3:image: emqx/emqx:5.4.1container_name: emqx3hostname: emqx3-cluster.emqx.ioenvironment:- EMQX_NODE__NAME=emqx3@emqx3-cluster.emqx.io- EMQX_CLUSTER__DISCOVERY_STRATEGY=static- EMQX_CLUSTER__STATIC__SEEDS=emqx1@emqx1-cluster.emqx.io,emqx2@emqx2-cluster.emqx.io,emqx3@emqx3-cluster.emqx.ionetworks:- emqx-netnginx:image: nginx:1.23.0-alpinecontainer_name: nginxports:- 1883:1883- 8883:8883- 8083:8083 - 8084:8084- 8888:8888 # nginx statusvolumes:- $PWD/nginx.conf:/etc/nginx/nginx.conf- $PWD/certs:/etc/nginx/certsnetworks:- emqx-netmqttx-cli: # 指定压测工具image: emqx/mqttx-clicontainer_name: mqttx-cli command: mqttx bench conn -c 2000 -h nginx  # 对nginx容器进行压测networks:emqx-net: # mqttx-cli 与 其他容器 在同一局域网中ipv4_address: 172.26.0.12networks:emqx-net:driver: bridgeipam:config:- subnet: 172.26.0.0/16

启动服务

cd mqtt-lb-nginx && docker-compose up -d# 查看服务运行状态
[root@master mqtt-lb-nginx]# docker-compose ps
NAME                COMMAND                  SERVICE             STATUS              PORTS
emqx1               "/usr/bin/docker-ent…"   emqx1               running             0.0.0.0:18083->18083/tcp, :::18083->18083/tcp
emqx2               "/usr/bin/docker-ent…"   emqx2               running             18083/tcp
emqx3               "/usr/bin/docker-ent…"   emqx3               running             18083/tcp
mqttx-cli           "docker-entrypoint.s…"   mqttx-cli           running             
nginx               "/docker-entrypoint.…"   nginx               running             0.0.0.0:1883->1883/tcp ...

查看nginx子进程负载数

# /home/nginx-cores.sh 需要在nginx 容器中先创建
[root@master mqtt-lb-nginx]# docker exec -it nginx cat /home/nginx-cores.sh
#!/bin/sh
nginx_pids=`ps aux |grep "[n]ginx: worker"|awk '{print $1}'`
for pid in $nginx_pids
don=`ls /proc/$pid/fd |wc|awk '{print $1}'`echo "pid = $pid $n connection"
done# 查看nginx子进程负载数
[root@master mqtt-lb-nginx]# docker exec -it nginx sh /home/nginx-cores.sh
pid = 174 1286 connection
pid = 175 1270 connection
pid = 176 1270 connection
pid = 177 1270 connection
pid = 178 1270 connection
pid = 179 1270 connection
pid = 180 1270 connection
pid = 181 1270 connection