分区容忍与脑裂

RabbitMQ 集群发生网络分区时，需正确处理分区与脑裂，确保数据一致性。

网络分区

分区场景

集群节点之间网络中断，分裂为多个子集群：

分区前: [A]──[B]──[C]  三节点互通

分区后: [A]──[B]   [C]  A、B 与 C 网络中断

分区原因：

• 交换机/路由器故障
• 网线断开或网卡异常
• 跨机房网络抖动
• 防火墙策略变更

分区检测

RabbitMQ 通过 Erlang 分布式节点心跳检测分区：

Node A ──heartbeat──→ Node B  (超时)
Node A 标记 Node B 为 down

检测机制：

1. 节点定期发送 ping 消息（默认间隔）
2. 超时未收到响应，标记对方为 down
3. 更新 Mnesia 元数据，记录分区事件
4. 触发分区处理策略

分区处理策略

RabbitMQ 提供三种分区处理策略：

pause_minority

# rabbitmq.conf
cluster_partition_handling = pause_minority

工作流程：

1. 分区发生后，各子集群判断自己是否为多数派
2. 少数派节点自动暂停（rabbitmqctl stop_app）
3. 多数派继续提供服务
4. 网络恢复后，少数派自动恢复

pause_minority 要求集群节点数为奇数，以便形成明确的多数派与少数派。

pause_if_all_down

# rabbitmq.conf
cluster_partition_handling = pause_if_all_down
cluster_partition_handling.pause_if_all_down.recover = autoheal

工作流程：

1. 节点检测到与所有对等节点失联
2. 该节点暂停服务
3. 网络恢复后，根据 recover 配置自动恢复

pause_if_all_down 比 pause_minority 更安全，即使节点数偶数也能正确处理。

autoheal

# rabbitmq.conf
cluster_partition_handling = autoheal

工作流程：

1. 分区发生后，各子集群独立运行
2. 网络恢复后，RabbitMQ 自动重启少数派节点
3. 重启节点从多数派同步元数据
4. 集群恢复一致状态

autoheal 在分区期间两个子集群都可写入，可能导致消息冲突或重复。

脑裂问题

脑裂定义

脑裂指网络分区后，多个子集群各自认为自己是主集群，同时提供服务：

分区期间:
子集群 [A, B]: 接收生产者消息，写入队列
子集群 [C]:   也接收生产者消息，写入队列

脑裂后果：

1. 消息写入两个独立队列，数据不一致
2. 消费者从不同子集群消费，可能重复或丢失
3. 元数据在两个子集群独立变更，冲突无法合并

脑裂规避

推荐策略对比：

生产环境推荐使用 pause_if_all_down，可完全规避脑裂且配置简单。

分区检测与告警

检测命令

# 检查集群状态
rabbitmqctl cluster_status

# 检查分区事件
rabbitmqctl eval 'rabbit_node_monitor:peek().'

# 检查告警
rabbitmqctl list_alarms

程序化检测

import java.io.*;
import java.net.*;

public class PartitionDetectionExample {
    public static void main(String[] args) throws Exception {
        // 通过 HTTP API 检查集群状态
        URL url = new URL("http://localhost:15672/api/cluster-name");
        HttpURLConnection conn = (HttpURLConnection) url.openConnection();
        conn.setRequestMethod("GET");
        conn.setRequestProperty("Authorization",
            "Basic " + java.util.Base64.getEncoder().encodeToString(
                "guest:guest".getBytes()));
        
        try (BufferedReader reader = new BufferedReader(
                new InputStreamReader(conn.getInputStream()))) {
            String response = reader.readLine();
            System.out.println("集群状态: " + response);
        }
        
        // 检查告警
        URL alarmUrl = new URL("http://localhost:15672/api/health/checks/alarms");
        HttpURLConnection alarmConn = (HttpURLConnection) alarmUrl.openConnection();
        alarmConn.setRequestMethod("GET");
        alarmConn.setRequestProperty("Authorization",
            "Basic " + java.util.Base64.getEncoder().encodeToString(
                "guest:guest".getBytes()));
        
        try (BufferedReader reader = new BufferedReader(
                new InputStreamReader(alarmConn.getInputStream()))) {
            String response = reader.readLine();
            System.out.println("告警状态: " + response);
            // 返回 {"status":"ok"} 表示无告警
            // 返回 {"status":"alarm"} 表示有分区或其他告警
        }
    }
}

分区恢复

手动恢复

# 1. 确认分区状态
rabbitmqctl cluster_status

# 2. 在少数派节点停止应用
rabbitmqctl stop_app

# 3. 重置节点元数据
rabbitmqctl reset

# 4. 重新加入主集群
rabbitmqctl join_cluster rabbit@majority-node

# 5. 启动应用
rabbitmqctl start_app

自动恢复

使用 pause_if_all_down 配合 autoheal 恢复：

# rabbitmq.conf
cluster_partition_handling = pause_if_all_down
cluster_partition_handling.pause_if_all_down.recover = autoheal

恢复流程：

1. 网络恢复后，暂停的节点检测到对等节点
2. 自动执行 autoheal，从多数派同步元数据
3. 节点自动恢复服务
4. 集群恢复一致状态

预防建议

网络架构

1. 使用冗余网络路径，避免单点故障
2. 跨机房部署使用专线或 VPN，提高网络稳定性
3. 监控网络延迟与丢包率，设置告警阈值

集群规模

集群节点数建议为奇数（3 或 5），以便 pause_minority 策略正确工作。

2 节点集群不推荐使用，无法有效处理脑裂问题。

注意事项

分区处理策略在 rabbitmq.conf 中配置，所有节点必须使用相同策略。

ignore 策略下脑裂风险极高，生产环境禁止使用。

分区恢复后需验证元数据一致性，确保队列、交换器、绑定关系完整同步。

高延迟网络（>100ms）可能触发误判分区，需调整心跳检测间隔。

要点总结

• 网络分区导致集群分裂为多个子集群，需正确处理避免脑裂
• 推荐使用 pause_if_all_down 策略，少数派节点暂停服务，完全规避脑裂
• pause_minority 要求奇数节点，多数派继续服务，少数派暂停
• autoheal 自动重启少数派，但分区期间可能消息冲突
• 禁止使用 ignore 策略，生产环境脑裂风险极高
• 集群节点数建议为奇数（3 或 5），2 节点集群不推荐

文章存放路径：D:\git2\jwdev\articles\RABBITMQ\专家\高可用与容灾\分区容忍与脑裂.md