百万并发消息中间件RabbitMQ集群搭建：如何在喧嚣的互联网世界中构建可靠的通信桥梁？

28 0 0

导语：

在互联网这个喧嚣的世界中，如何构建一个可靠的消息通信桥梁，以应对百万级别的并发消息处理？本文将带你深入了解RabbitMQ集群搭建的秘诀，助你在竞争激烈的市场中脱颖而出。
正文：

在互联网的世界里，消息传递的速度和可靠性是企业核心竞争力的重要组成部分。为了应对日益增长的业务需求，越来越多的企业开始关注消息中间件的选择。而在这众多中间件中，RabbitMQ凭借其高并发、高可用、易扩展的特点，成为了许多企业的不二之选。
百万并发消息中间件RabbitMQ集群搭建：如何在喧嚣的互联网世界中构建可靠的通信桥梁？

一、RabbitMQ简介

RabbitMQ是一个开源的消息队列中间件，基于Erlang语言开发，支持多种消息协议，如AMQP、STOMP、MQTT等。RabbitMQ以其强大的消息处理能力、高可用性和易扩展性，成为构建企业级消息系统的利器。

二、RabbitMQ集群搭建

环境准备

在搭建RabbitMQ集群之前，我们需要准备好以下环境：

（1）安装Docker和Docker Compose；

（2）准备至少2核4g内存台服务器，作为RabbitMQ集群中的节点；

（3）容器分配一个唯一的RabbitMQ节点名称，如rabbitmq-node1、rabbitmq-node2等；

（4）确保所有服务器在同一网络环境下，可以互相通信。

创建Docker Compose文件

根据集群规模，创建相应的Docker Compose文件，定义RabbitMQ集群中的各个节点。以下是一个简单的Docker Compose文件示例：

version: '3'

services:
  rabbitmq1:
    container_name: rabbitmq1
    hostname: rabbitmq1
    restart: always
    image: rabbitmq:3-management
    networks:
      rabbitmq_net:
        aliases:
          - rabbitmq1
    volumes:
      - rabbitmq_data:/var/lib/rabbitmq
    ports:
      - "15672:15672"
      - "5672:5672"
    environment:
      - RABBITMQ_DEFAULT_USER=admin
      - RABBITMQ_DEFAULT_PASS=123456.ljj
      - RABBITMQ_ERLANG_COOKIE=123456

  rabbitmq2:
    container_name: rabbitmq2
    hostname: rabbitmq2
    restart: always
    image: rabbitmq:3-management
    networks:
      rabbitmq_net:
        aliases:
          - rabbitmq2
    volumes:
      - rabbitmq_data:/var/lib/rabbitmq
    depends_on:
      - rabbitmq1
    environment:
      - RABBITMQ_ERLANG_COOKIE=123456

  rabbitmq3:
    container_name: rabbitmq3
    hostname: rabbitmq3
    restart: always
    image: rabbitmq:3-management
    networks:
      rabbitmq_net:
        aliases:
          - rabbitmq3
    volumes:
      - rabbitmq_data:/var/lib/rabbitmq
    depends_on:
      - rabbitmq2
    environment:
      - RABBITMQ_ERLANG_COOKIE=123456

  rabbitmq4:
    container_name: rabbitmq4
    hostname: rabbitmq4
    restart: always
    image: rabbitmq:3-management
    networks:
      rabbitmq_net:
        aliases:
          - rabbitmq4
    volumes:
      - rabbitmq_data:/var/lib/rabbitmq
    depends_on:
      - rabbitmq3
    environment:
      - RABBITMQ_ERLANG_COOKIE=123456

  rabbitmq5:
    container_name: rabbitmq5
    hostname: rabbitmq5
    restart: always
    image: rabbitmq:3-management
    networks:
      rabbitmq_net:
        aliases:
          - rabbitmq5
    volumes:
      - rabbitmq_data:/var/lib/rabbitmq
    depends_on:
      - rabbitmq4
    environment:
      - RABBITMQ_ERLANG_COOKIE=123456

  rabbitmq6:
    container_name: rabbitmq6
    hostname: rabbitmq6
    restart: always
    image: rabbitmq:3-management
    networks:
      rabbitmq_net:
        aliases:
          - rabbitmq6
    volumes:
      - rabbitmq_data:/var/lib/rabbitmq
    depends_on:
      - rabbitmq5
    environment:
      - RABBITMQ_ERLANG_COOKIE=123456


volumes:
  rabbitmq_data:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: /devops/rabbitmq/rabbitmq_data

networks:
  rabbitmq_net:

启动集群

在准备好Docker Compose文件后，使用以下命令启动RabbitMQ集群：


docker-compose up -d

加入集群

启动所有节点后，进入rabbitmq2节点任意一个节点容器，执行以下命令加入集群：

rabbitmqctl stop_app
rabbitmqctl join_cluster rabbit@rabbitmq1
rabbitmqctl start_app

我有一百个node也一条一条这样的命令这样执行？当然不（shell）！


#!/bin/bash
# 如何没有授权脚本，则需要加上 chmod +x *.sh
echo 'rabbitmq2 join cluster'
docker exec rabbitmq2 /bin/bash -c 'rabbitmqctl stop_app'
docker exec rabbitmq2 /bin/bash -c 'rabbitmqctl join_cluster --ram rabbit@rabbitmq1'
docker exec rabbitmq2 /bin/bash -c 'rabbitmqctl start_app'


echo 'rabbitmq3 join cluster'
docker exec rabbitmq3 /bin/bash -c 'rabbitmqctl stop_app'
docker exec rabbitmq3 /bin/bash -c 'rabbitmqctl join_cluster --ram rabbit@rabbitmq1'
docker exec rabbitmq3 /bin/bash -c 'rabbitmqctl start_app'

echo 'rabbitmq4 join cluster'
docker exec rabbitmq4 /bin/bash -c 'rabbitmqctl stop_app'
docker exec rabbitmq4 /bin/bash -c 'rabbitmqctl join_cluster --ram rabbit@rabbitmq1'
docker exec rabbitmq4 /bin/bash -c 'rabbitmqctl start_app'

echo 'rabbitmq5 join cluster'
docker exec rabbitmq5 /bin/bash -c 'rabbitmqctl stop_app'
docker exec rabbitmq5 /bin/bash -c 'rabbitmqctl join_cluster --ram rabbit@rabbitmq1'
docker exec rabbitmq5 /bin/bash -c 'rabbitmqctl start_app'

echo 'rabbitmq6 join cluster'
docker exec rabbitmq6 /bin/bash -c 'rabbitmqctl stop_app'
docker exec rabbitmq6 /bin/bash -c 'rabbitmqctl join_cluster --ram rabbit@rabbitmq1'
docker exec rabbitmq6 /bin/bash -c 'rabbitmqctl start_app'

echo 'check cluster'

docker exec rabbitmq6 /bin/bash -c 'rabbitmqctl cluster_status'
docker exec rabbitmq5 /bin/bash -c 'rabbitmqctl cluster_status'
docker exec rabbitmq4 /bin/bash -c 'rabbitmqctl cluster_status'
docker exec rabbitmq3 /bin/bash -c 'rabbitmqctl cluster_status'
docker exec rabbitmq2 /bin/bash -c 'rabbitmqctl cluster_status'
docker exec rabbitmq1 /bin/bash -c 'rabbitmqctl cluster_status'

提问：请问4核心8g内存6个node的rabbitmq集群能接得住多少并发？

根据 RabbitMQ 3.7.x 版本的文档，一个具有 8GB 内存的服务器可以处理大约 100,000 到 200,000 个并发连接，具体取决于消息的大小和队列的配置。
计算 RabbitMQ 集群能够处理的并发量是一个复杂的问题，因为它取决于多个因素，包括：

消息的大小：RabbitMQ 集群可以处理的并发量很大程度上取决于消息的大小。较小的消息可以被更快地处理，从而允许更多的并发量。
交换器类型：不同的交换器类型（如直接交换器、主题交换器、扇形交换器等）会影响性能。
队列和交换器的配置：例如，持久化队列和交换器可以提高数据持久性，但可能会影响性能。
网络延迟和带宽：网络延迟和带宽也会影响 RabbitMQ 集群的性能。
客户端和服务器端的处理能力：客户端和服务器端的处理能力也会影响并发量。
硬件和软件资源：例如，服务器的 CPU 核心数、内存大小等硬件资源，以及 RabbitMQ 版本和配置。

# 随笔