学习 RabbitMQ 这一篇就够了
文章目录
- 一、MQ相关概念
- 二、RabbitMQ相关概念
- 三、安装
- 四、HelloWorld
- 五、工作队列
- 5.1、轮询分发消息
- 5.2、消息应答
- 5.2.1、自动应答
- 5.2.2、手动应答
- 5.2.3、消息自动重新入队
- 5.2.4、消息手动应答代码
- 5.3、持久化
- 5.4、不公平分发（能者多劳）
- 5.5、预取值
- 5.6、发布确认
- 5.6.1、原理
- 5.6.2、单个确认发布
- 5.6.3、批量确认发布
- 5.6.4、异步确认发布
- 5.6.5、区别
- 六、交换机
- 6.1、Exchange
- 6.2、临时队列
- 6.3、绑定(binding)
- 6.4、Fanout（扇出）
- 6.5、Direct（直接）
- 6.6、Topics（主题）
- 七、死信队列
- 7.1、死信的概念
- 7.2、死信的来源
- 7.3、消息TTL过期
- 7.4、限制队列最大长度
- 7.5、消息拒绝
- 八、延迟队列
- 8.1、概念
- 8.2、使用场景
- 8.3、整合Springboot
- 8.4、队列TTL（消费者设置）
- 8.5、延迟队列优化（生产者设置）
- 8.6、Rabbitmq 插件实现延迟队列
- 8.7、插件延迟代码
- 8.8、总结
- 九、发布确认高级
- 9.1、搭建初始环境
- 9.2、交换机回调
- 9.3、回退消息
- 9.4、备份交换机
- 十、其他知识点
- 1、幂等性
- 2、优先级队列
- 3、惰性队列
- 十一、集群
- 1、使用集群的原因
- 2、搭建步骤
一、MQ相关概念
1.1、流量削峰
举个例子，如果订单系统最多能处理一万次订单，这个处理能力应付正常时段的下单时绰绰有余，正常时段我们下单一秒后就能返回结果。但是在高峰期，如果有两万次下单操作系统是处理不了的，只能限制订单超过一万后不允许用户下单。使用消息队列做缓冲，我们可以取消这个限制，把一秒内下的订单分散成一段时间来处理，这时有些用户可能在下单十几秒后才能收到下单成功的操作，但是比不能下单的体验要好
1.2、应用解耦
以电商应用为例，应用中有订单系统、库存系统、支付系统。用户创建订单后，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障，都会造成下单操作异常。当转变成基于消息队列的方式后，系统间调用的问题会减少很多，比如物流系统因为发生故障，需要几分钟来修复。在这几分钟的时间里，物流系统要处理的内存被缓存在消息队列中，用户的下单操作可以正常完成。当物流系统恢复后，继续处理订单信息即可 ，中单用户感受不到物流系统的故障，提升系统的可用性
1.3、异步处理
有些服务间调用是异步的，例如 A 调用 B，B 需要花费很长时间执行，但是 A 需要知道 B 什么时候可以执行完，以前一般有两种方式，A 过一段时间去调用 B 的查询 api 查询。或者 A 提供一个 callback api，B 执行完之后调用 api 通知 A 服务。这两种方式都不是很优雅，使用消息总线，可以很方便解决这个问题，A 调用 B 服务后，只需要监听 B 处理完成的消息，当 B 处理完成后，会发送一条消息给 MQ，MQ 会将此消息转发给 A 服务。这样 A 服务既不用循环调用 B 的查询 api，也不用提供 callback api。同样 B 服务也不用做这些操作。A 服务还能及时的得到异步处理成功的消息。
二、RabbitMQ相关概念
1、四大核心概念
| 概念 | 介绍 |
|---|---|
| 生产者 | 产生数据发送消息的程序是生产者 |
| 交换机 | 交换机是RabbitMQ非常重要的一个部件，一方面它接收来自生产者的消息，另一方面它将消息推送到队列中。交换机必须确切知道如何处理它接收到的消息，是将这些消息推送到特定队列还是推关到多个队列，亦或者是把消息丢弃，这个得有交换机类型决定 |
| 队列 | 队列是RabbitMQ内部使用的一种数据结构，尽管消息流经RabbitMQ和应用程序但它们只能存储在队列中。队列仅受主机的内存和磁盘限制的约束，本质上是一个大的消息缓冲区。许多生产者可以将消息发送到一个队列，许多消费者可以尝试从一个队列接收数据。这就是我们使用队列的方式 |
| 消费者 | 消费与接收具有相似的含义。消费者大多时候是一个等待接收消息的程序。请注意生产者，消费者和消息中间件很多时候并不在同一机器上。同一个应用程序既可以是生产者又是可以是消费者。 |
2、工作原理
- Broker：接收和分发消息的应用，RabbitMQ Server 就是 Message Broker
- Exchange：message 到达 broker 的第一站，根据分发规则，匹配查询表中的 routing key，分发消息到 queue 中去。常用的类型有：direct (point-to-point), topic (publish-subscribe) and fanout(multicast)
- Queue：消息最终被送到这里等待 consumer 取走
- Connection：publisher／consumer 和 broker 之间的 TCP 连接
- Channel：如果每一次访问 RabbitMQ 都建立一个 Connection，在消息量大的时候建立 TCPConnection 的开销将是巨大的，效率也较低。Channel 是在 connection 内部建立的逻辑连接，如果应用程序支持多线程，通常每个 thread 创建单独的 channel 进行通讯，AMQP method 包含了 channel id 帮助客户端和 message broker 识别 channel，所以 channel 之间是完全隔离的。Channel 作为轻量级的Connection 极大减少了操作系统建立 TCP connection 的开销
- Virtual host：出于多租户和安全因素设计的，把 AMQP 的基本组件划分到一个虚拟的分组中，类似
于网络中的 namespace 概念。当多个不同的用户使用同一个 RabbitMQ server 提供的服务时，可以划分出
多个 vhost，每个用户在自己的 vhost 创建 exchange／queue 等 - Binding：exchange 和 queue 之间的虚拟连接，binding 中可以包含 routing key，Binding 信息被保
存到 exchange 中的查询表中，用于 message 的分发依据
三、安装
1、运行容器
docker run --name rabbitmq \
--hostname mq \
-e RABBITMQ_DEFAULT_USER=Laptoy \
-e RABBITMQ_DEFAULT_PASS=Laptoy \
-p 15672:15672 \
-p 5672:5672 \
-d rabbitmq:3.11.1
2、进入容器内部并开启web界面
docker exec -it rabbitmq bash# 开启web界面
rabbitmq-plugins enable rabbitmq_management# 开启监控界面
cd /etc/rabbitmq/conf.d/
echo management_agent.disable_metrics_collector = false > management_agent.disable_metrics_collector.conf
3、创建账户
# 创建账号
rabbitmqctl add_user laptoy laptoy# 设置用户角色
rabbitmqctl set_user_tags laptoy administrator# 设置用户权限
# 用户 laptoy 具有/vhost1 这个 virtual host 中所有资源的配置、写、读权限# set_permissions [-p ]
rabbitmqctl set_permissions -p "/" laptoy ".*" ".*" ".*"
dfd
# 当前用户和角色
rabbitmqctl list_users
4、访问 http://localhost:15672
5、登录
四、HelloWorld
在本教程的这一部分中，我们将用 Java 编写两个程序。发送单个消息的生产者和接收消息并打印出来的消费者。
在下图中，“ P”是我们的生产者，“ C”是我们的消费者。中间的框是一个队列-RabbitMQ 代表使用者保留的消息缓冲区
导入相关依赖
com.rabbitmq amqp-client 5.8.0 commons-io commons-io 2.6 org.apache.maven.plugins maven-compiler-plugin 8 8 开始编写Java代码
1、消息生产者
public class Producer {// 队列名称private final static String QUEUE_NAME = "hello";// 发消息public static void main(String[] args) throws Exception {// 创建一个连接工厂并配置连接ConnectionFactory factory = new ConnectionFactory();factory.setHost("120.76.55.55");factory.setUsername("guest");factory.setPassword("guest");// 创建连接Connection connection = factory.newConnection();// 获取信道Channel channel = connection.createChannel();/*** 生成一个队列* 1.队列名称* 2.队列里面的消息是否持久化 默认消息存储在内存中* 3.该队列是否只供一个消费者进行消费 是否进行共享* 4.是否自动删除 最后一个消费者端开连接以后 该队列是否自动删除 true 自动删除* 5.其他参数*/channel.queueDeclare(QUEUE_NAME, false, false, false, null);// 发消息String message = "hello,I'm Producer";/*** 发送一个消息* 1.发送到那个交换机* 2.路由的 key 是哪个* 3.其他的参数信息* 4.发送消息的消息体*/channel.basicPublish("", QUEUE_NAME, null, message.getBytes(StandardCharsets.UTF_8));System.out.println("消息发送完毕");}
}
2、消息消费者
public class Consumer {private final static String QUEUE_NAME = "hello";public static void main(String[] args) throws Exception {ConnectionFactory factory = new ConnectionFactory();factory.setHost("120.76.55.xx");factory.setUsername("guest");factory.setPassword("guest");Connection connection = factory.newConnection();Channel channel = connection.createChannel();System.out.println("等待接收消息....");// 接收消息回调DeliverCallback deliverCallback = (consumerTag, delivery) -> {String message = new String(delivery.getBody());System.out.println(message);};// 取消消费的一个回调接口 如在消费的时候队列被删除掉了CancelCallback cancelCallback = (consumerTag) -> {System.out.println("消息消费被中断");};/*** 消费者消费消息* 1.消费哪个队列* 2.消费成功之后是否要自动应答 true 代表自动应答 false 手动应答* 3.消费者未成功消费的回调*/channel.basicConsume(QUEUE_NAME, true, deliverCallback, cancelCallback);}
}
五、工作队列
工作队列(又称任务队列)的主要思想是避免立即执行资源密集型任务，而不得不等待它完成。相反我们安排任务在之后执行。我们把任务封装为消息并将其发送到队列。在后台运行的工作进程将弹出任务并最终执行作业。当有多个工作线程时，这些工作线程将一起处理这些任务
5.1、轮询分发消息
启动两个工作线程，一个消息发送线程
1、抽取工具类
public class RabbitMQUtil {//得到一个连接的 channelpublic static Channel getChannel() throws Exception {//创建一个连接工厂ConnectionFactory factory = new ConnectionFactory();factory.setHost("120.76.55.xx");factory.setUsername("guest");factory.setPassword("guest");Connection connection = factory.newConnection();Channel channel = connection.createChannel();return channel;}
}
2、工作线程 01 02
public class Worker0x {private static final String QUEUE_NAME = "hello";public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();DeliverCallback deliverCallback = (consumerTag, delivery) -> {String receivedMessage = new String(delivery.getBody());System.out.println("接收到消息:" + receivedMessage);};CancelCallback cancelCallback = (consumerTag) -> {System.out.println(consumerTag + "消费者取消消费接口回调逻辑");};System.out.println("Cx 消费者启动等待消费......");channel.basicConsume(QUEUE_NAME, true, deliverCallback, cancelCallback);}
}
3、生产者
public class Task01 {private static final String QUEUE_NAME = "hello";public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();channel.queueDeclare(QUEUE_NAME, false, false, false, null);Scanner scanner = new Scanner(System.in);while (scanner.hasNext()) {String message = scanner.next();channel.basicPublish("", QUEUE_NAME, null, message.getBytes());System.out.println("发送消息完成:" + message);}}
}
4、效果展示-轮询
5.2、消息应答
消费者完成一个任务可能需要一段时间，如果其中一个消费者处理一个长的任务并仅只完成了部分突然它挂掉了，会发生什么情况。RabbitMQ 一旦向消费者传递了一条消息，便立即将该消息标记为删除。在这种情况下，突然有个消费者挂掉了，我们将丢失正在处理的消息。以及后续发送给该消费这的消息，因为它无法接收到。
为了保证消息在发送过程中不丢失，rabbitmq 引入消息应答机制，消息应答就是：消费者在接收到消息并且处理该消息之后，告诉 rabbitmq 它已经处理了，rabbitmq 可以把该消息删除了。
5.2.1、自动应答
5.2.2、手动应答
// RabbitMQ 已知道该消息并且成功的处理消息，可以将其丢弃了
Channel.basicAck(用于肯定确认)Channel.basicNack(用于否定确认)// 不处理该消息了直接拒绝，可以将其丢弃了
Channel.basicReject(用于否定确认) // 与 Channel.basicNack 相比少一个参数
手动应答的好处是可以批量应答并且减少网络拥堵
multiple 的 true 和 false 代表不同意思
- true 代表批量应答 channel 上未应答的消息
比如说 channel 上有传送 tag 的消息 5,6,7,8 当前 tag 是 8 那么此时
5-8 的这些还未应答的消息都会被确认收到消息应答 - false 同上面相比
只会应答 tag=8 的消息 5,6,7 这三个消息依然不会被确认收到消息应答
5.2.3、消息自动重新入队
如果消费者由于某些原因失去连接(其通道已关闭，连接已关闭或 TCP 连接丢失)，导致消息未发送 ACK 确认，RabbitMQ 将了解到消息未完全处理，并将对其重新排队。如果此时其他消费者可以处理，它将很快将其重新分发给另一个消费者。这样，即使某个消费者偶尔死亡，也可以确保不会丢失任何消息。
5.2.4、消息手动应答代码
默认消息采用的是自动应答，所以我们要想实现消息消费过程中不丢失，需要把自动应答改为手动应答，消费者在上面代码的基础上增加下面画红色部分代码
1、生产者
public class Task01 {private static final String TASK_QUEUE_NAME = "ack_queue";public static void main(String[] argv) throws Exception {try (Channel channel = RabbitMQUtil.getChannel()) {channel.queueDeclare(TASK_QUEUE_NAME, false, false, false, null);Scanner sc = new Scanner(System.in);System.out.println("请输入信息");while (sc.hasNext()) {String message = sc.nextLine();channel.basicPublish("", TASK_QUEUE_NAME, null, message.getBytes("UTF-8"));System.out.println("生产者发出消息" + message);}}}
}
2、消费者01 02
public class Work01 {private static final String ACK_QUEUE_NAME = "ack_queue";public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();System.out.println("C1 等待接收消息处理时间较短");// 消息消费的时候如何处理消息DeliverCallback deliverCallback = (consumerTag, delivery) -> {String message = new String(delivery.getBody());SleepUtil.sleep(1);System.out.println("接收到消息:" + message);/*** 1.消息标记 tag* 2.是否批量应答未应答消息*/channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);};// 采用手动应答boolean autoAck = false;channel.basicConsume(ACK_QUEUE_NAME, autoAck, deliverCallback, (consumerTag) -> {System.out.println(consumerTag + "消费者取消消费接口回调逻辑");});}
}
public class Work02 {private static final String ACK_QUEUE_NAME = "ack_queue";public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();System.out.println("C2 等待接收消息处理时间较长");// 消息消费的时候如何处理消息DeliverCallback deliverCallback = (consumerTag, delivery) -> {String message = new String(delivery.getBody());SleepUtil.sleep(30);System.out.println("接收到消息:" + message);/*** 1.消息标记 tag* 2.是否批量应答未应答消息*/channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);};// 采用手动应答boolean autoAck = false;channel.basicConsume(ACK_QUEUE_NAME, autoAck, deliverCallback, (consumerTag) -> {System.out.println(consumerTag + "消费者取消消费接口回调逻辑");});}
}
3、测试
- 发送aa，C1收到
- 发送bb，C2收到
- 发送cc，C1收到
- 发送dd并终止C2，C1收到dd
5.3、持久化
刚刚我们已经看到了如何处理任务不丢失的情况，但是如何保障当 RabbitMQ 服务停掉以后消息生产者发送过来的消息不丢失。默认情况下 RabbitMQ 退出或由于某种原因崩溃时，它忽视队列和消息，除非告知它不要这样做。确保消息不会丢失需要做两件事：我们需要将队列和消息都标记为持久化
1、队列持久化
之前我们创建的队列都是非持久化的，rabbitmq 如果重启的化，该队列就会被删除掉，如果要队列实现持久化 需要在声明队列的时候把 durable 参数设置为持久化
但是需要注意的就是如果之前声明的队列不是持久化的，需要把原先队列先删除，或者重新创建一个持久化的队列，不然就会出现错误
以下为控制台中非持久化与持久化队列的 UI 显示区
2、消息持久化
要想让消息实现持久化需要在消息生产者修改代码，MessageProperties.PERSISTENT_TEXT_PLAIN 添加这个属性
将消息标记为持久化并不能完全保证不会丢失消息。尽管它告诉 RabbitMQ 将消息保存到磁盘，但是这里依然存在当消息刚准备存储在磁盘的时候 但是还没有存储完，消息还在缓存的一个间隔点。此时并没有真正写入磁盘。持久性保证并不强，但是对于我们的简单任务队列而言，这已经绰绰有余了。如果需要更强有力的持久化策略，参考后边课件发布确认章节。
5.4、不公平分发（能者多劳）
在最开始的时候我们学习到 RabbitMQ 分发消息采用的轮训分发，但是在某种场景下这种策略并不是很好，比方说有两个消费者在处理任务，其中有个消费者 1 处理任务的速度非常快，而另外一个 消费者2 处理速度却很慢，这个时候我们还是采用轮训分发的化就会到这处理速度快的这个消费者很大一部分时间处于空闲状态，而处理慢的那个消费者一直在干活，这种分配方式在这种情况下其实就不太好，但是RabbitMQ 并不知道这种情况它依然很公平的进行分发。
为了避免这种情况，我们可以设置参数 channel.basicQos(1);
意思就是如果这个任务我还没有处理完或者我还没有应答你，你先别分配给我，我目前只能处理一个任务，然后 rabbitmq 就会把该任务分配给没有那么忙的那个空闲消费者，当然如果所有的消费者都没有完成手上任务，队列还在不停的添加新任务，队列有可能就会遇到队列被撑满的情况，这个时候就只能添加新的 worker 或者改变其他存储任务的策略。
5.5、预取值
本身消息的发送就是异步发送的，所以任何时候，channel上肯定不止只有一个消息，另外来自消费者的手动确认本质上也是异步的。因此这里也就存在一个未确认的消息缓冲区，因此希望开发人员能限制此缓冲区的大小，以避免缓冲区里面无限制的未确认问题。这个时候就可以通过使用 basic.qos() 方法设置“预取计数”值来完成的。该值定义通道上允许的未确认消息的最大数量。一旦数量到达配置的数量，rabbitmq将停止在通道上传递更多的消息，除非至少有一个未处理的消息被确认。例如，假设在通道上面有未确认的消息5、6、7、8，并且通道的预取计数设置为4，此时rabbitmq将不会在该通道上在传递任何消息，除非至少有一个未应答的消息被ack。比方说tag=6这个消息刚刚被ack确认，rabbitmq将会感知这个情况到并在发送一条消息。消息应答和Qos预取值对用户吞吐量有重大影响。通常，增加预取将怎提高向消费者传递消息的速度。虽然自动应答传输消息的速率是最佳的，但是，在这种情况下已传递但尚未处理的消息数量也会增加，从而增加了消费者的ram消耗（随机存取存储器），应该小心使用具有无限预处理的自动确认模式或者手动确认模式，消费者消费了大量的消息如果没有确认的话，会导致消费者连接节点的内存消耗变大，所以找到合适的预取值是一个反复试验的过程，不同的负载该值取值也不同，100到300的范围内的值通常可提供最佳的吞吐量，并且不会给消费者带来太大的风险。预取值为1是最保守的。当然也将使得吞吐量变得很低，特别是消费者连接延迟很严重的情况下，特别是在消费者连接等待时间较长的环境中。对于大多数应用来说，稍微高一点的值将会是最佳的。
5.6、发布确认
5.6.1、原理
生产者将信道设置成 confirm 模式，一旦信道进入 confirm 模式，所有 在该信道上面发布的消息都将会被指派一个唯一的 ID (从 1 开始)，一旦消息被投递到所有匹配的队列之后，broker就会发送一个确认给生产者(包含消息的唯一 ID)，这就使得生产者知道消息已经正确到达目的队列了，如果消息和队列是可持久化的，那么确认消息会在将消息写入磁盘之后发出，broker 回传给生产者的确认消息中 delivery-tag 域包含了确认消息的序列号，此外 broker 也可以设置basic.ack 的 multiple 域，表示到这个序列号之前的所有消息都已经得到了处理。
confirm 模式最大的好处在于他是异步的，一旦发布一条消息，生产者应用程序就可以在等信道返回确认的同时继续发送下一条消息，当消息最终得到确认之后，生产者应用便可以通过回调方法来处理该确认消息，如果 RabbitMQ 因为自身内部错误导致消息丢失，就会发送一条 nack 消息，生产者应用程序同样可以在回调方法中处理该 nack 消息。
开启发布确认
5.6.2、单个确认发布
这是一种简单的确认方式，它是一种同步确认发布的方式，也就是发布一个消息之后只有它被确认发布，后续的消息才能继续发布，waitForConfirmsOrDie(long) 这个方法只有在消息被确认的时候才返回，如果在指定时间范围内这个消息没有被确认那么它将抛出异常
这种确认方式有一个最大的缺点就是:发布速度特别的慢，因为如果没有确认发布的消息就会阻塞所有后续消息的发布，这种方式最多提供每秒不超过数百条发布消息的吞吐量。当然对于某些应用程序来说这可能已经足够了
// 单个确认
public static void publishMessageIndividually() throws Exception {Channel channel = RabbitMQUtil.getChannel();String queueName = UUID.randomUUID().toString();channel.queueDeclare(queueName, true, false, false, null);channel.confirmSelect();// 开启时间long begin = System.currentTimeMillis();for (int i = 0; i < MESSAGE_COUNT; i++) {String message = i + "";channel.basicPublish("", queueName, null, message.getBytes());boolean flag = channel.waitForConfirms();if (flag) {System.out.println("消息发送成功");}}// 结束时间long end = System.currentTimeMillis();System.out.println("发布" + MESSAGE_COUNT + "个单独确认消息，耗时" + (end - begin) + "ms");
}
5.6.3、批量确认发布
上面那种方式非常慢，与单个等待确认消息相比，先发布一批消息然后一起确认可以极大地提高吞吐量，当然这种方式的缺点就是:当发生故障导致发布出现问题时，不知道是哪个消息出现问题了，我们必须将整个批处理保存在内存中，以记录重要的信息而后重新发布消息。当然这种方案仍然是同步的，也一样阻塞消息的发布
public static void publishMessageBatch() throws Exception {Channel channel = RabbitMQUtil.getChannel();String queueName = UUID.randomUUID().toString();channel.queueDeclare(queueName, true, false, false, null);channel.confirmSelect();// 批量确认消息大小int batchSize = 10;// 开启时间long begin = System.currentTimeMillis();for (int i = 0; i < MESSAGE_COUNT; i++) {String message = i + "";channel.basicPublish("", queueName, null, message.getBytes());if (i % batchSize == 0) {channel.waitForConfirms();}}// 结束时间long end = System.currentTimeMillis();System.out.println("发布" + MESSAGE_COUNT + "个批量确认消息，耗时" + (end - begin) + "ms");
}
5.6.4、异步确认发布
异步确认虽然编程逻辑比上两个要复杂，但是性价比最高，无论是可靠性还是效率都没得说，他是利用回调函数来达到消息可靠性传递的，这个中间件也是通过函数回调来保证是否投递成功，下面就让我们来详细讲解异步确认是怎么实现的。
public static void publishMessageAsync() throws Exception {Channel channel = RabbitMQUtil.getChannel();String queueName = UUID.randomUUID().toString();channel.queueDeclare(queueName, true, false, false, null);channel.confirmSelect();/*** 线程安全有序的一个哈希表 适用于高并发情况* 1、轻松将序号与消息进行关联* 2、轻松批量删除条目，只要给到序号* 3、支持高并发*/ConcurrentSkipListMap outstandingConfirms = new ConcurrentSkipListMap<>();// 开启时间long begin = System.currentTimeMillis();// 消息确认成功 回调函数ConfirmCallback ackCallback = (long deliveryTag, boolean multiple) -> {// 删除已确认的消息，剩余就是未确认的消息if (multiple) { // 批量确认ConcurrentNavigableMap confirmMap = outstandingConfirms.headMap(deliveryTag);confirmMap.clear();} else { // 单个确认outstandingConfirms.remove(deliveryTag);}System.out.println("确认的消息：" + deliveryTag);};// 消息确认失败 回调函数ConfirmCallback nackCallback = (long deliveryTag, boolean multiple) -> {// 打印未确认的消息String message = outstandingConfirms.get(deliveryTag);System.out.println("未确认的消息：" + message + "未确认的消息tag：" + deliveryTag);};// 消息监听器 (成功回调，失败回调)channel.addConfirmListener(ackCallback, nackCallback);for (int i = 0; i < MESSAGE_COUNT; i++) {String message = "消息" + i;channel.basicPublish("", queueName, null, message.getBytes());// 记录所有要发送的消息outstandingConfirms.put(channel.getNextPublishSeqNo(), message);}// 结束时间long end = System.currentTimeMillis();System.out.println("发布" + MESSAGE_COUNT + "个异步确认消息，耗时" + (end - begin) + "ms");
}
5.6.5、区别
- 单独发布：同步等待确认，简单，但吞吐量非常有限。
- 批量发布：批量同步等待确认，简单，合理的吞吐量，一旦出现问题但很难推断出是那条消息出现了问题。
- 异步发布：最佳性能和资源使用，在出现错误的情况下可以很好地控制，但是实现起来稍微难些
六、交换机
在上一节中，我们创建了一个工作队列。我们假设的是工作队列背后，每个任务都恰好交付给一个消费者(工作进程)。在这一部分中，我们将做一些完全不同的事情-我们将消息传达给多个消费者。这种模式
称为 ”发布/订阅”.
为了说明这种模式，我们将构建一个简单的日志系统。它将由两个程序组成:第一个程序将发出日志消息，第二个程序是消费者。其中我们会启动两个消费者，其中一个消费者接收到消息后把日志存储在磁盘，另外一个消费者接收到消息后把消息打印在屏幕上，事实上第一个程序发出的日志消息将广播给所有消费者者
6.1、Exchange
RabbitMQ 消息传递模型的核心思想是: 生产者生产的消息从不会直接发送到队列。实际上，通常生产
者甚至都不知道这些消息传递传递到了哪些队列中。
生产者只能将消息发送到交换机(exchange)，交换机工作的内容非常简单，一方面它接收来自生产者的消息，另一方面将它们推入队列。交换机必须确切知道如何处理收到的消息。是应该把这些消息放到特定队列还是说把他们到许多队列中还是说应该丢弃它们。这就的由交换机的类型来决定。
1、Exchanges 的类型：扇出(fanout)，直接(direct), 主题(topic) ,标题(headers)
2、无名exchange
在本教程的前面部分我们对 exchange 一无所知，但仍然能够将消息发送到队列。之前能实现的原因是因为我们使用的是默认交换，我们通过空字符串(“”)进行标识。
第一个参数是交换机的名称。空字符串表示默认或无名称交换机：消息能路由发送到队列中其实是由 routingKey(bindingkey)绑定 key 指定的，如果它存在的话
6.2、临时队列
之前的章节我们使用的是具有特定名称的队列(还记得 hello 和 ack_queue 吗？)。队列的名称我们
来说至关重要-我们需要指定我们的消费者去消费哪个队列的消息。
每当我们连接到 Rabbit 时，我们都需要一个全新的空队列，为此我们可以创建一个具有随机名称
的队列，或者能让服务器为我们选择一个随机队列名称那就更好了。其次一旦我们断开了消费者的连
接，队列将被自动删除。
创建临时队列的方式如下:
String queueName = channel.queueDeclare().getQueue();
创建出来之后长成这样:
6.3、绑定(binding)
什么是 bingding 呢，binding 其实是 exchange 和 queue 之间的桥梁，它告诉我们 exchange 和那个队列进行了绑定关系。比如说下面这张图告诉我们的就是 X 与 Q1 和 Q2 进行了绑定
6.4、Fanout（扇出）
将消息同时发送给所有消费者（此处可直接使用临时队列，无需考虑路由密钥routingKey）
将接收到的所有消息 广播 到它知道的所有队列中
1、生产者
public class EmitLog {public static final String EXCHANGE_NAME = "logs";public static final String ROUTING_KEY = ""; // 路由密钥public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();// 声明交换机并设置fanout模式channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.FANOUT);Scanner scanner = new Scanner(System.in);while (scanner.hasNext()) {String message = scanner.next();channel.basicPublish(EXCHANGE_NAME, ROUTING_KEY, null, message.getBytes(StandardCharsets.UTF_8));System.out.println("生产者发出消息：" + message);}}
}
2、消费者01 02
public class ReceiveLogs01 {public static final String EXCHANGE_NAME = "logs";public static final String ROUTING_KEY = ""; // 路由密钥public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.FANOUT);// 声明临时队列String queue = channel.queueDeclare().getQueue();// 绑定channel.queueBind(queue, EXCHANGE_NAME, ROUTING_KEY);DeliverCallback deliverCallback = (String consumerTag, Delivery message) -> {System.out.println("控制台打印接收到的消息：" + new String(message.getBody(), "UTF-8"));};channel.basicConsume(queue, true, deliverCallback, consumerTag -> {});}
}
public class ReceiveLogs02 {public static final String EXCHANGE_NAME = "logs";public static final String ROUTING_KEY = ""; // 路由密钥public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.FANOUT);// 声明临时队列String queue = channel.queueDeclare().getQueue();// 绑定channel.queueBind(queue, EXCHANGE_NAME, ROUTING_KEY);DeliverCallback deliverCallback = (String consumerTag, Delivery message) -> {System.out.println("控制台打印接收到的消息：" + new String(message.getBody(), "UTF-8"));};channel.basicConsume(queue, true, deliverCallback, consumerTag -> {});}
}
3、演示
6.5、Direct（直接）
模拟日志系统仅接收严重错误，不存储警告或信息日志
在这里我们将使用 direct 这种类型来进行替换，这种类型的工作方式是，消息只去到它绑定的routingKey 队列中去
1、生产者
此处修改常量 ROUTING_KEY 的值实现定向发送到指定队列
info、warning => console
error => disk
public class DirectLogs {public static final String EXCHANGE_NAME = "direct_logs";public static final String ROUTING_KEY = ""; // 路由密钥public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();// 定义交换机并设置Direct模式channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);Scanner scanner = new Scanner(System.in);while (scanner.hasNext()) {String message = scanner.next();channel.basicPublish(EXCHANGE_NAME, ROUTING_KEY, null, message.getBytes(StandardCharsets.UTF_8));System.out.println("生产者发出消息：" + message);}}
}
2、消费者console（绑定info、warning密钥）
public class ReceiveLogsDirect01 {public static final String EXCHANGE_NAME = "direct_logs";public static final String QUEUE_NAME = "console";public static final String ROUTING_KEY_INFO = "info"; // 路由密钥public static final String ROUTING_KEY_WARNING = "warning"; // 路由密钥public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();// 声明交换机并设置直接模式channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);channel.queueDeclare(QUEUE_NAME, false, false, false, null);// 绑定info、warning密钥channel.queueBind(QUEUE_NAME, EXCHANGE_NAME, ROUTING_KEY_INFO);channel.queueBind(QUEUE_NAME, EXCHANGE_NAME, ROUTING_KEY_WARNING);DeliverCallback deliverCallback = (String consumerTag, Delivery message) -> {System.out.println("控制台打印接收到的消息：" + new String(message.getBody(), "UTF-8"));};channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> {});}
}
3、消费者disk（绑定error密钥）
public class ReceiveLogsDirect02 {public static final String EXCHANGE_NAME = "direct_logs";public static final String QUEUE_NAME = "disk";public static final String ROUTING_KEY_ERROR = "error"; // 路由密钥public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();// 声明交换机并设置直接模式channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);channel.queueDeclare(QUEUE_NAME, false, false, false, null);channel.queueBind(QUEUE_NAME, EXCHANGE_NAME, ROUTING_KEY_ERROR);DeliverCallback deliverCallback = (String consumerTag, Delivery message) -> {System.out.println("控制台打印接收到的消息：" + new String(message.getBody(), "UTF-8"));};channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> {});}
}
4、演示
6.6、Topics（主题）
发送到类型是 topic 交换机的消息的 routing_key 不能随意写，必须满足一定的要求，它必须是一个单词列表，以点号分隔开
这些单词可以是任意单词，比如说："stock.usd.nyse","nyse.vmw"，"quick.orange.rabbit".这种类型的。当然这个单词列表最多不能超过 255 个字节
*：可以代替一个单词#：可以替代零个或多个单词
Q1：中间带 orange 带 3 个单词的字符串(*.orange.*)
Q2：最后一个单词是 rabbit 的 3 个单词(*.*.rabbit)、第一个单词是 lazy 的多个单词(lazy.#)
当一个队列绑定键是#,那么这个队列将接收所有数据，就有点像 fanout 了
如果队列绑定键当中没有#和*出现，那么该队列绑定类型就是 direct 了
1、生产者
public class EmitLogTopic {public static final String EXCHANGE_NAME = "topic_logs";public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);Scanner scanner = new Scanner(System.in);while (scanner.hasNext()) {String message = scanner.next();channel.basicPublish(EXCHANGE_NAME, "lazy.orange.a", null, message.getBytes(StandardCharsets.UTF_8));System.out.println("生产者发出消息：" + message);}}
}
2、消费者
public class ReceiveLogsTopic01 {public static final String EXCHANGE_NAME = "topic_logs";public static final String QUEUE_NAME = "Q1";public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);channel.queueDeclare(QUEUE_NAME, false, false, false, null);channel.queueBind(QUEUE_NAME, EXCHANGE_NAME, "*.orange.*");DeliverCallback deliverCallback = (String consumerTag, Delivery message) -> {System.out.println(new String(message.getBody(), "UTF-8"));System.out.println("接收队列：" + QUEUE_NAME + " 绑定键：" + message.getEnvelope().getRoutingKey());};channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> {});}
}
3、消费者
public class ReceiveLogsTopic02 {public static final String EXCHANGE_NAME = "topic_logs";public static final String QUEUE_NAME = "Q2";public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);channel.queueDeclare(QUEUE_NAME, false, false, false, null);channel.queueBind(QUEUE_NAME, EXCHANGE_NAME, "*.*.rabbit");channel.queueBind(QUEUE_NAME, EXCHANGE_NAME, "lazy.#");DeliverCallback deliverCallback = (String consumerTag, Delivery message) -> {System.out.println(new String(message.getBody(), "UTF-8"));System.out.println("接收队列：" + QUEUE_NAME + " 绑定键：" + message.getEnvelope().getRoutingKey());};channel.basicConsume(QUEUE_NAME, true, deliverCallback, consumerTag -> {});}
}
七、死信队列
7.1、死信的概念
先从概念解释上搞清楚这个定义，死信，顾名思义就是无法被消费的消息，字面意思可以这样理解，一般来说，producer 将消息投递到 broker 或者直接到queue 里了，consumer 从 queue 取出消息进行消费，但某些时候由于 特定的原因导致 queue 中的某些消息无法被消费，这样的消息如果没有后续的处理，就变成了死信，有死信自然就有了死信队列。
应用场景：为了保证订单业务的消息数据不丢失，需要使用到 RabbitMQ 的死信队列机制，当消息消费发生异常时，将消息投入死信队列中.还有比如说: 用户在商城下单成功并点击去支付后在指定时间未支付时自动失效
7.2、死信的来源
- 消息 TTL 过期
- 队列达到最大长度(队列满了，无法再添加数据到 mq 中)
- 消息被拒绝(basic.reject 或 basic.nack)并且 requeue=false.
7.3、消息TTL过期
1、生产者
public class Producer {public static final String NORMAL_EXCHANGE = "normal_exchange";public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();channel.exchangeDeclare(NORMAL_EXCHANGE, BuiltinExchangeType.DIRECT);// 死信消息 设置TTL时间 单位是msAMQP.BasicProperties properties = new AMQP.BasicProperties().builder().expiration("10000").build();for (int i = 1; i < 11; i++) {String message = "info" + i;channel.basicPublish(NORMAL_EXCHANGE, "zhangsan", properties, message.getBytes());}}
}
2、消费者01
设置交换机和队列，设置绑定关系，设置过期后转入死信交换机后转入死信队列
public class Consumer01 {public static final String NORMAL_EXCHANGE = "normal_exchange";public static final String DEAD_EXCHANGE = "dead_exchange";public static final String NORMAL_QUEUE = "normal_queue";public static final String DEAD_QUEUE = "dead_queue";public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();// 声明交换机channel.exchangeDeclare(NORMAL_EXCHANGE, BuiltinExchangeType.DIRECT);channel.exchangeDeclare(DEAD_EXCHANGE, BuiltinExchangeType.DIRECT);Map arguments = new HashMap<>();arguments.put("x-dead-letter-exchange", DEAD_EXCHANGE); // 设置转发的交换机arguments.put("x-dead-letter-routing-key", "lisi"); // 设置转发后的键--通过该键绑定死信队列// 普通队列通过设置特殊参数转发信息到死信交换机->死信队列channel.queueDeclare(NORMAL_QUEUE, false, false, false, arguments);channel.queueDeclare(DEAD_QUEUE, false, false, false, null);// 普通队列绑定普通交换机channel.queueBind(NORMAL_QUEUE, NORMAL_EXCHANGE, "zhangsan");// 死信队列绑定死信交换机channel.queueBind(DEAD_QUEUE, DEAD_EXCHANGE, "lisi");System.out.println("等待接收消息...");DeliverCallback deliverCallback = (String consumerTag, Delivery message) -> {System.out.println("Consumer01接收的消息是：" + new String(message.getBody(), "UTF-8"));};channel.basicConsume(NORMAL_QUEUE, true, deliverCallback, consumerTag -> {});}
}
3、消费者02 消费死信消息
public class Consumer02 {public static final String DEAD_QUEUE = "dead_queue";public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();System.out.println("等待接收消息...");DeliverCallback deliverCallback = (String consumerTag, Delivery message) -> {System.out.println("Consumer02接收的消息是：" + new String(message.getBody(), "UTF-8"));};channel.basicConsume(DEAD_QUEUE, true, deliverCallback, consumerTag -> {});}
}
4、步骤
- 开启消费者01初始化所有交换机和队列后关闭
- 开启生产者模拟发送10条消息
- 消息到期TTL没有消费变为死信消息并转入死信队列
- 开启消费者02消费死信消息
7.4、限制队列最大长度
1、生产者去掉TTL属性
public class Producer {public static final String NORMAL_EXCHANGE = "normal_exchange";public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();channel.exchangeDeclare(NORMAL_EXCHANGE, BuiltinExchangeType.DIRECT);for (int i = 1; i < 11; i++) {String message = "info" + i;channel.basicPublish(NORMAL_EXCHANGE, "zhangsan", null, message.getBytes());}}
}
2、消费者01设置参数
3、删除原本的normal队列，否则启动会报错，参数加载异常
4、启动消费者01加载参数后关闭消费者01
5、打开生产者发送消息（可以看到有4条消息转入死信队列）
6、打开消费者01、02
7.5、消息拒绝
1、消费者01：关闭自动应答，设置特殊消息拒绝机制
2、删除原先的普通队列
3、开启消费者01、生产者
4、开启消费者02
八、延迟队列
8.1、概念
队列内部是有序的，最重要的特性就体现在它的延时属性上，延时队列中的元素是希望在指定时间到了以后或之前取出和处理，简单来说，延时队列就是用来存放需要在指定时间被处理的 元素的队列
8.2、使用场景
- 订单在十分钟之内未支付则自动取消
- 新创建的店铺，如果在十天内都没有上传过商品，则自动发送消息提醒。
- 用户注册成功后，如果三天内没有登陆则进行短信提醒。
- 用户发起退款，如果三天内没有得到处理则通知相关运营人员。
- 预定会议后，需要在预定的时间点前十分钟通知各个与会人员参加会议
这些场景都有一个特点，需要在某个事件发生之后或者之前的指定时间点完成某一项任务
如：发生订单生成事件，在十分钟之后检查该订单支付状态，然后将未支付的订单进行关闭；看起来似乎使用定时任务，一直轮询数据，每秒查一次，取出需要被处理的数据，然后处理不就完事了吗？如果数据量比较少，确实可以这样做，比如：对于“如果账单一周内未支付则进行自动结算”这样的需求，如果对于时间不是严格限制，而是宽松意义上的一周，那么每天晚上跑个定时任务检查一下所有未支付的账单，确实也是一个可行的方案。但对于数据量比较大，并且时效性较强的场景，如：“订单十分钟内未支付则关闭“，短期内未支付的订单数据可能会有很多，活动期间甚至会达到百万甚至千万级别，对这么庞大的数据量仍旧使用轮询的方式显然是不可取的，很可能在一秒内无法完成所有订单的检查，同时会给数据库带来很大压力，无法满足业务要求而且性能低下
8.3、整合Springboot
1、创建boot工程（2.4.6版本）
2、POM
org.springframework.boot spring-boot-starter-amqp org.springframework.boot spring-boot-starter-web org.springframework.boot spring-boot-starter-test test com.alibaba fastjson 1.2.47 org.projectlombok lombok io.springfox springfox-swagger2 2.9.2 io.springfox springfox-swagger-ui 2.9.2 org.springframework.amqp spring-rabbit-test test 3、配置文件
spring:rabbitmq:host: 120.76.55.xxport: 5672username: xxxpassword: xxx
4、Swagger配置类
@Configuration
@EnableSwagger2
public class SwaggerConfig {@Beanpublic Docket webApiConfig() {return new Docket(DocumentationType.SWAGGER_2).groupName("webApi").apiInfo(webApiInfo()).select().build();}private ApiInfo webApiInfo() {return new ApiInfoBuilder().title("rabbitmq 接口文档").description("本文档描述了 rabbitmq 微服务接口定义").version("1.0").contact(new Contact("Laptoy", "https://blog.csdn.net/apple_53947466","Laptoy458@163.com")).build();}
}
8.4、队列TTL（消费者设置）
1、代码架构图
2、配置文件
@Configuration
public class TTLQueueConfig {public static final String X_EXCHANGE = "X";public static final String QUEUE_A = "QA";public static final String QUEUE_B = "QB";public static final String Y_DEAD_LETTER_EXCHANGE = "Y";public static final String DEAD_LETTER_QUEUE = "QD";// 声明普通交换机 xExchange@Bean("xExchange")public DirectExchange xExchange() {return new DirectExchange(X_EXCHANGE);}// 声明死信交换机 yExchange@Bean("yExchange")public DirectExchange yExchange() {return new DirectExchange(Y_DEAD_LETTER_EXCHANGE);}//------------------------以上声明交换机-----------------------------// 声明普通队列A TTL 为 10S@Bean("queueA")public Queue queueA() {Map arguments = new HashMap<>(3);arguments.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);arguments.put("x-dead-letter-routing-key", "YD");arguments.put("x-message-ttl", 10000);return QueueBuilder.durable(QUEUE_A).withArguments(arguments).build();}// 声明普通队列B TTL 为 40S@Bean("queueB")public Queue queueB() {Map arguments = new HashMap<>(3);arguments.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);arguments.put("x-dead-letter-routing-key", "YD");arguments.put("x-message-ttl", 20000);return QueueBuilder.durable(QUEUE_B).withArguments(arguments).build();}// 声明死信队列@Bean("queueD")public Queue queueD() {return QueueBuilder.durable(DEAD_LETTER_QUEUE).build();}//---------------------------以上声明队列----------------------------------//---------------------------以下声明绑定关系-------------------------------// 将普通队列A 通过 绑定键XA 绑定给 普通交换机X@Beanpublic Binding queueA_Binding_X(@Qualifier("queueA") Queue queueA, @Qualifier("xExchange") DirectExchange xExchange) {return BindingBuilder.bind(queueA).to(xExchange).with("XA");}// 将普通队列B 通过 绑定键XB 绑定给 普通交换机X@Beanpublic Binding queueB_Binding_X(@Qualifier("queueB") Queue queueB, @Qualifier("xExchange") DirectExchange xExchange) {return BindingBuilder.bind(queueB).to(xExchange).with("XB");}// 将死信队列D 通过 绑定键YD 绑定给 死信交换机X@Beanpublic Binding queueD_Binding_Y(@Qualifier("queueD") Queue queueD, @Qualifier("yExchange") DirectExchange yExchange) {return BindingBuilder.bind(queueD).to(yExchange).with("YD");}
}
3、消息发送者
@Slf4j
@RestController
@RequestMapping("/ttl")
public class SendMsgController {@Autowiredprivate RabbitTemplate rabbitTemplate;@GetMapping("/sendMsg/{message}")public void sendMsg(@PathVariable String message) {log.info("当前时间:{}，发送一条消息给两个TTL队列:{}", new Date().toString(), message);rabbitTemplate.convertAndSend("X", "XA", "消息来自ttl为10s的队列:" + message);rabbitTemplate.convertAndSend("X", "XB", "消息来自ttl为20s的队列:" + message);}
}
4、死信队列消费者
@Slf4j
@Component
public class DeadLetterQueueConsumer {// 接收消息@RabbitListener(queues = "QD")private void receiveD(Message message, Channel channel) {String msg = new String(message.getBody());log.info("当前时间:{},收到死信队列的消息:{}", new Date().toString(), msg);}
}
5、启动测试
访问：http://localhost:8080/ttl/sendMsg/Hello
生产者发送消息后超时未消费转入死信队列消费
8.5、延迟队列优化（生产者设置）
队列A、B的延迟时间在配置类写死不可取，延迟时间应有生产者决定
1、配置类新增
public static final String QUEUE_C = "QC";// 声明普通队列 QC
@Bean("queueC")
public Queue queueC() {Map arguments = new HashMap<>(2);arguments.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);arguments.put("x-dead-letter-routing-key", "YD");return QueueBuilder.durable(QUEUE_C).withArguments(arguments).build();
}// 将普通队列C 通过 绑定键XC 绑定给 普通交换机X
@Bean
public Binding queueC_Binding_X(@Qualifier("queueC") Queue queueC, @Qualifier("xExchange") DirectExchange xExchange) {return BindingBuilder.bind(queueC).to(xExchange).with("XC");
}
2、生产者代码
@Slf4j
@RestController
@RequestMapping("/ttl")
public class SendMsgController {@GetMapping("/sendExpirationMsg/{message}/{ttlTime}")public void sendMsgTTL(@PathVariable String message, @PathVariable String ttlTime) {log.info("当前时间:{}，发送一条时长{}毫秒TTL信息给队列:{}", new Date(), ttlTime, message);rabbitTemplate.convertAndSend("X", "XC", message, msg -> {// 设置消息延迟时间msg.getMessageProperties().setExpiration(ttlTime);return msg;});}
}
3、这里有个奇怪的bug，新队列C没加载处理，把所有队列删除了重启就加载出来了
4、测试
GET http://localhost:8080/ttl/sendExpirationMsg/消息1/20000
GET http://localhost:8080/ttl/sendExpirationMsg/消息2/1000
看起来似乎没什么问题，但是在最开始的时候，就介绍过如果使用在消息属性上设置 TTL 的方式，消息可能并不会按时“死亡“，因为 RabbitMQ 只会检查第一个消息是否过期，如果过期则丢到死信队列，如果第一个消息的延时时长很长，而第二个消息的延时时长很短，第二个消息并不会优先得到执行
8.6、Rabbitmq 插件实现延迟队列
1、下载插件
2、将该文件上传到容器内部
docker cp /mydata/rabbitmq/rabbitmq_delayed_message_exchange-3.10.2.ez rabbitmq:/plugins
3、运行
docker exec -it rabbitmq bashcd /pluginsrabbitmq-plugins enable rabbitmq_delayed_message_exchangeexitdocker restart rabbitmq
8.7、插件延迟代码
在这里新增了一个队列delayed.queue,一个自定义交换机 delayed.exchange，绑定关系如下:
在我们自定义的交换机中，这是一种新的交换类型，该类型消息支持延迟投递机制 消息传递后并不会立即投递到目标队列中，而是存储在 mnesia(一个分布式数据系统)表中，当达到投递时间时，才投递到目标队列中。
1、配置类
@Configuration
public class DelayedQueueConfig {public static final String DELAYED_EXCHANGE_NAME = "delayed.exchange";public static final String DELAYED_QUEUE_NAME = "delayed.queue";public static final String DELAYED_ROUTING_KEY = "delayed.routingkey";@Bean("delayedQueue")public Queue delayedQueue() {return new Queue(DELAYED_QUEUE_NAME);}// 自定义交换机 我们在这里定义的是一个延迟交换机@Bean("delayedExchange")public CustomExchange delayedExchange() {Map args = new HashMap<>();args.put("x-delayed-type", "direct"); // 自定义交换机的类型return new CustomExchange(DELAYED_EXCHANGE_NAME, "x-delayed-message", true, false, args);}@Beanpublic Binding bindingDelayedQueue(@Qualifier("delayedQueue") Queue queue, @Qualifier("delayedExchange") CustomExchange delayedExchange) {return BindingBuilder.bind(queue).to(delayedExchange).with(DELAYED_ROUTING_KEY).noargs();}
}
2、生产者
@Slf4j
@RestController
@RequestMapping("/ttl")
public class SendMsgController {// 基于插件发送延迟消息@GetMapping("/sendDelayMsg/{message}/{delayTime}")public void sendDelayMsg(@PathVariable String message, @PathVariable Integer delayTime) {log.info("当前时间:{},发送一条时长{}毫秒TTL信息给插件延迟队列:{}", new Date(), delayTime, message);rabbitTemplate.convertAndSend(DelayedQueueConfig.DELAYED_EXCHANGE_NAME, DelayedQueueConfig.DELAYED_ROUTING_KEY, message, msg -> {// 设置消息延迟时间msg.getMessageProperties().setDelay(delayTime);return msg;});}
}
3、消费者
@Slf4j
@Component
public class DelayQueueConsumer {// 接收消息@RabbitListener(queues = DelayedQueueConfig.DELAYED_QUEUE_NAME)private void receiveDelayQueue(Message message) {String msg = new String(message.getBody());log.info("当前时间:{},收到死信队列的消息:{}", new Date(), msg);}
}
4、测试
GET http://localhost:8080/ttl/sendDelayMsg/消息1/20000
GET http://localhost:8080/ttl/sendDelayMsg/消息2/100
第二个消息被先消费掉了，符合预期
8.8、总结
延时队列在需要延时处理的场景下非常有用，使用 RabbitMQ 来实现延时队列可以很好的利用RabbitMQ 的特性，如：消息可靠发送、消息可靠投递、死信队列来保障消息至少被消费一次以及未被正确处理的消息不会被丢弃。另外，通过 RabbitMQ 集群的特性，可以很好的解决单点故障问题，不会因为单个节点挂掉导致延时队列不可用或者消息丢失。
当然，延时队列还有很多其它选择，比如利用 Java 的 DelayQueue，利用 Redis 的 zset，利用 Quartz
或者利用 kafka 的时间轮，这些方式各有特点,看需要适用的场景
九、发布确认高级
在生产环境中由于一些不明原因，导致 rabbitmq 重启，在 RabbitMQ 重启期间生产者消息投递失败，导致消息丢失，需要手动处理和恢复。于是，我们开始思考，如何才能进行 RabbitMQ 的消息可靠投递呢？ 特别是在这样比较极端的情况，RabbitMQ 集群不可用的时候，无法投递的消息该如何处理呢:
9.1、搭建初始环境
1、配置类
@Configuration
public class ConfirmConfig {public static final String CONFIRM_EXCHANGE_NAME = "confirm_exchange";public static final String CONFIRM_QUEUE_NAME = "confirm_exchange";public static final String CONFIRM_ROUTING_KEY = "key1";@Bean("confirmExchange")public DirectExchange confirmExchange() {return new DirectExchange(CONFIRM_EXCHANGE_NAME);}@Bean("confirmQueue")public Queue confirmQueue() {return QueueBuilder.durable(CONFIRM_QUEUE_NAME).build();}@Beanpublic Binding queueBindingExchange(@Qualifier("confirmQueue") Queue confirmQueue,@Qualifier("confirmExchange") DirectExchange confirmExchange) {return BindingBuilder.bind(confirmQueue).to(confirmExchange).with(CONFIRM_ROUTING_KEY);}
}
2、生产者
@Slf4j
@RestController
@RequestMapping("/confirm")
public class ConfirmController {@AutowiredRabbitTemplate rabbitTemplate;@GetMapping("/sendMessage/{message}")public void sendMessage(@PathVariable String message) {rabbitTemplate.convertAndSend(ConfirmConfig.CONFIRM_EXCHANGE_NAME, ConfirmConfig.CONFIRM_ROUTING_KEY, message);log.info("发送消息内容:{}", message);}
}
3、消费者
@Slf4j
@Component
public class ConfirmConsumer {@RabbitListener(queues = ConfirmConfig.CONFIRM_QUEUE_NAME)public void receiveConfirmMessage(Message message) {String msg = new String(message.getBody());log.info("接收到的队列消息:{}", msg);}
}
4、测试
GET http://localhost:8080/confirm/sendMessage/hellooo
9.2、交换机回调
1、配置文件添加
spring.rabbitmq.publisher-confirm-type=correlated
- NONE：禁用发布确认模式，是默认值
- CORRELATED：发布消息成功到交换器后会触发回调方法
- SIMPLE：经测试有两种效果，其一效果和 CORRELATED 值一样会触发回调方法，
其二在发布消息成功后使用 rabbitTemplate 调用 waitForConfirms 或 waitForConfirmsOrDie 方法
等待 broker 节点返回发送结果，根据返回结果来判定下一步的逻辑，要注意的点是
waitForConfirmsOrDie 方法如果返回 false 则会关闭 channel，则接下来无法发送消息到 broker
2、回调
@Slf4j
@Component
public class MyCallBack implements RabbitTemplate.ConfirmCallback {@AutowiredRabbitTemplate rabbitTemplate;// 将当前类注入容器中 @PostConstruct 让本方法在其他注解的最后顺序执行@PostConstructpublic void init() {rabbitTemplate.setConfirmCallback(this);}/*** 交换机确认回调方法** @param correlationData 保存回调消息的ID及相关信息* @param ack true 收到消息 / false 未收到消息* @param cause null / 失败原因*/@Overridepublic void confirm(CorrelationData correlationData, boolean ack, String cause) {String id = correlationData != null ? correlationData.getId() : "";if (ack) {log.info("交换机收到ID为:{}的消息", id);} else {log.info("交换机未收到ID为:{}的消息,原因:{}", id, cause);}}
}
3、生产者配置回调
4、模拟正常发送：正确回调
5、模拟交换机未收到消息：产生错误回调并打印错误信息
6、此方法只适用于交换机回调，若routingkey错误则无法产生回调
9.3、回退消息
在仅开启了生产者确认机制的情况下，交换机接收到消息后，会直接给消息生产者发送确认消息，如果发现该消息不可路由，那么消息会被直接丢弃，此时生产者是不知道消息被丢弃这个事件的。那么如何让无法被路由的消息帮我想办法处理一下？最起码通知我一声，我好自己处理啊。通过设置 mandatory参数可以在当消息传递过程中不可达目的地时将消息返回给生产者
1、配置文件开启消息回退
spring:rabbitmq:publisher-returns: true
2、回调配置类添加
@Slf4j
@Component
public class MyCallBack implements RabbitTemplate.ConfirmCallback, RabbitTemplate.ReturnsCallback {@AutowiredRabbitTemplate rabbitTemplate;// 将当前类注入容器中 @PostConstruct 让本方法在其他注解的最后顺序执行@PostConstructpublic void init() {rabbitTemplate.setConfirmCallback(this);rabbitTemplate.setReturnsCallback(this);}...// 当消息不可达目的地时将消息返回给生产者@Overridepublic void returnedMessage(ReturnedMessage returnedMessage) {log.info("消息{},被交换机{}退回,退回原因:{},路由key:{}",new String(returnedMessage.getMessage().getBody()),returnedMessage.getExchange(),returnedMessage.getReplyText(),returnedMessage.getRoutingKey());}
}
3、消息生产者模拟路由key错误
@Slf4j
@RestController
@RequestMapping("/confirm")
public class ConfirmController {@AutowiredRabbitTemplate rabbitTemplate;@GetMapping("/sendMessage/{message}")public void sendMessage(@PathVariable String message) {CorrelationData correlationData1 = new CorrelationData("1");rabbitTemplate.convertAndSend(ConfirmConfig.CONFIRM_EXCHANGE_NAME, ConfirmConfig.CONFIRM_ROUTING_KEY, message + "1", correlationData1);log.info("发送消息内容:{}", message + "1");CorrelationData correlationData2 = new CorrelationData("2");rabbitTemplate.convertAndSend(ConfirmConfig.CONFIRM_EXCHANGE_NAME, ConfirmConfig.CONFIRM_ROUTING_KEY + "xx", message + "2", correlationData2);log.info("发送消息内容:{}", message + "2");}
}
4、发送消息测试
可以看到消息2由于路由key错误被回退
9.4、备份交换机
有了 mandatory 参数和回退消息，我们获得了对无法投递消息的感知能力，有机会在生产者的消息无法被投递时发现并处理。但有时候，我们并不知道该如何处理这些无法路由的消息，最多打个日志，然后触发报警，再来手动处理。而通过日志来处理这些无法路由的消息是很不优雅的做法，特别是当生产者所在的服务有多台机器的时候，手动复制日志会更加麻烦而且容易出错。而且设置 mandatory 参数会增加生产者的复杂性，需要添加处理这些被退回的消息的逻辑。如果既不想丢失消息，又不想增加生产的复杂性，该怎么做呢？前面在设置死信队列的文章中，我们提到，可以为队列设置死信交换机来存储些处理失败的消息，可是这些不可路由消息根本没有机会进入到队列，因此无法使用死信队列来保存息。在 RabbitMQ 中，有一种备份交换机的机制存在，可以很好的应对这个问题。什么是备份交换机呢？交换机可以理解为 RabbitMQ 中交换机的“备胎”，当我们为某一个交换机声明一个对应的备份交换时就是为它创建一个备胎，当交换机接收到一条不可路由消息时，将会把这条消息转发到备份交换中，由备份交换机来进行转发和处理，通常备份交换机的类型为 Fanout ，这样就能把所有消息都投递到与其绑定的队列中，然后我们在备份交换机下绑定一个队列，这样所有那些原交换机无法被路由的消息，就会进入这个队列了。当然，我们还可以建立一个报警队列，用独立的消费者来进行监测和报警
1、配置文件
@Configuration
public class ConfirmConfig {public static final String CONFIRM_EXCHANGE_NAME = "confirm_exchange";public static final String CONFIRM_QUEUE_NAME = "confirm_exchange";public static final String CONFIRM_ROUTING_KEY = "key1";public static final String BACKUP_EXCHANGE_NAME = "backup.exchange";public static final String BACKUP_QUEUE_NAME = "backup.queue";public static final String WARNING_QUEUE_NAME = "warning.queue";// 声明普通交换机并指定备份交换机@Bean("confirmExchange")public DirectExchange confirmExchange() {return ExchangeBuilder.directExchange(CONFIRM_EXCHANGE_NAME).withArgument("alternate-exchange", BACKUP_EXCHANGE_NAME).build();}// 声明普通队列@Bean("confirmQueue")public Queue confirmQueue() {return QueueBuilder.durable(CONFIRM_QUEUE_NAME).build();}// 声明普通队列绑定关系@Beanpublic Binding queueBindingExchange(@Qualifier("confirmQueue") Queue confirmQueue, @Qualifier("confirmExchange") DirectExchange confirmExchange) {return BindingBuilder.bind(confirmQueue).to(confirmExchange).with(CONFIRM_ROUTING_KEY);}//声明备份交换机(扇出)@Bean("backupExchange")public FanoutExchange backupExchange() {return new FanoutExchange(BACKUP_EXCHANGE_NAME);}// 声明备份队列@Bean("backQueue")public Queue backQueue() {return QueueBuilder.durable(BACKUP_QUEUE_NAME).build();}// 声明警告队列@Bean("warningQueue")public Queue warningQueue() {return QueueBuilder.durable(WARNING_QUEUE_NAME).build();}// 声明备份队列绑定关系@Beanpublic Binding backupBinding(@Qualifier("backQueue") Queue backQueue, @Qualifier("backupExchange") FanoutExchange backupExchange) {return BindingBuilder.bind(backQueue).to(backupExchange);}// 声明报警队列绑定关系@Beanpublic Binding warningBinding(@Qualifier("warningQueue") Queue warningQueue, @Qualifier("backupExchange") FanoutExchange backupExchange) {return BindingBuilder.bind(warningQueue).to(backupExchange);}
}
2、报警消费者
@Slf4j
@Component
public class WarningConsumer {@RabbitListener(queues = ConfirmConfig.WARNING_QUEUE_NAME)public void receiveWarningMsg(Message message) {String msg = new String(message.getBody());log.error("报警发现不可路由消息:{}", msg);}
}
3、之前的测试代码，路由key错误的情况下
@Slf4j
@RestController
@RequestMapping("/confirm")
public class ConfirmController {@AutowiredRabbitTemplate rabbitTemplate;@GetMapping("/sendMessage/{message}")public void sendMessage(@PathVariable String message) {CorrelationData correlationData1 = new CorrelationData("1");rabbitTemplate.convertAndSend(ConfirmConfig.CONFIRM_EXCHANGE_NAME, ConfirmConfig.CONFIRM_ROUTING_KEY, message + "1", correlationData1);log.info("发送消息内容:{}", message + "1");CorrelationData correlationData2 = new CorrelationData("2");rabbitTemplate.convertAndSend(ConfirmConfig.CONFIRM_EXCHANGE_NAME, ConfirmConfig.CONFIRM_ROUTING_KEY + "xx", message + "2", correlationData2);log.info("发送消息内容:{}", message + "2");}
}
4、测试：可以发现路由key错误的消息被报警交换机路由
http://localhost:8080/confirm/sendMessage/大家好
5、mandatory 参数与备份交换机可以一起使用的时候，如果两者同时开启，消息究竟何去何从？谁优先级高，经过上面结果显示答案是备份交换机优先级高
十、其他知识点
1、幂等性
1、概念
用户对于同一操作发起的一次请求或者多次请求的结果是一致的，不会因为多次点击而产生了副作用。举个最简单的例子，那就是支付，用户购买商品后支付，支付扣款成功，但是返回结果的时候网络异常，此时钱已经扣了，用户再次点击按钮，此时会进行第二次扣款，返回结果成功，用户查询余额发现扣多钱了，流水记录也变成了两条。在以前的单应用系统中，我们只需要把数据操作放入事务中即可，发生误立即回滚，但是再响应客户端的时候也有可能出现网络中断或者异常等等
2、消息重复消费
消费者在消费 MQ 中的消息时，MQ 已把消息发送给消费者，消费者在给MQ 返回 ack 时网络中断，故 MQ 未收到确认信息，该条消息会重新发给其他的消费者，或者在网络重连后再次发送给该消费者，但实际上该消费者已成功消费了该条消息，造成消费者消费了重复的消息。
3、解决思路
MQ 消费者的幂等性的解决一般使用全局 ID 或者写个唯一标识比如时间戳 或者 UUID 或者订单消费者消费 MQ 中的消息也可利用 MQ 的该 id 来判断，或者可按自己的规则生成一个全局唯一 id，每次消费消息时用该 id 先判断该消息是否已消费过。
4、消费端的幂等性保障
在海量订单生成的业务高峰期，生产端有可能就会重复发生了消息，这时候消费端就要实现幂等性，这就意味着我们的消息永远不会被消费多次，即使我们收到了一样的消息。业界主流的幂等性有两种作:a.唯一 ID+指纹码机制,利用数据库主键去重, b.利用 redis 的原子性去实现
5、唯一ID+指纹码机制
指纹码:我们的一些规则或者时间戳加别的服务给到的唯一信息码,它并不一定是我们系统生成的，基本都是由我们的业务规则拼接而来，但是一定要保证唯一性，然后就利用查询语句进行判断这个 id 是否存在数据库中,优势就是实现简单就一个拼接，然后查询判断是否重复；劣势就是在高并发时，如果是单个数据库就会有写入性能瓶颈当然也可以采用分库分表提升性能，但也不是我们最推荐的方式。
6、Redis 原子性
利用 redis 执行 setnx 命令，天然具有幂等性。从而实现不重复消费
2、优先级队列
在我们系统中有一个订单催付的场景，我们的客户在天猫下的订单,淘宝会及时将订单推送给我们，如果在用户设定的时间内未付款那么就会给用户推送一条短信提醒，很简单的一个功能对吧，但是，tmall商家对我们来说，肯定是要分大客户和小客户的对吧，比如像苹果，小米这样大商家一年起码能给我们创造很大的利润，所以理应当然，他们的订单必须得到优先处理，而曾经我们的后端系统是使用 redis 来存放的定时轮询，大家都知道 redis 只能用 List 做一个简简单单的消息队列，并不能实现一个优先级的场景，所以订单量大了后采用 RabbitMQ 进行改造和优化,如果发现是大客户的订单给一个相对比较高的优先级，否则就是默认优先级。
方式一：可视化界面设置队列
方式二：代码实现
Map params = new HashMap();
params.put("x-max-priority", 10);
channel.queueDeclare("hello", true, false, false, params);AMQP.BasicProperties properties = new AMQP.BasicProperties().builder().priority(0-10之间的数字).build(); 1、生产者
public class Producer {private final static String QUEUE_NAME = "HHH";public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();Map arguments = new HashMap<>();arguments.put("x-max-priority", 10);channel.queueDeclare(QUEUE_NAME, true, false, false, arguments);for (int i = 1; i < 11; i++) {String message = "info" + i;if (i == 2) {AMQP.BasicProperties properties = new AMQP.BasicProperties().builder().priority(9).build();channel.basicPublish("", QUEUE_NAME, properties, message.getBytes());} else if (i == 4) {AMQP.BasicProperties properties = new AMQP.BasicProperties().builder().priority(10).build();channel.basicPublish("", QUEUE_NAME, properties, message.getBytes());} else {channel.basicPublish("", QUEUE_NAME, null, message.getBytes());}}}
}
2、消费者
public class Consumer {private final static String QUEUE_NAME = "HHH";public static void main(String[] args) throws Exception {Channel channel = RabbitMQUtil.getChannel();// 接收消息回调DeliverCallback deliverCallback = (consumerTag, delivery) -> {String message = new String(delivery.getBody());System.out.println(message);};// 取消消费的一个回调接口 如在消费的时候队列被删除掉了CancelCallback cancelCallback = (consumerTag) -> {System.out.println("消息消费被中断");};channel.basicConsume(QUEUE_NAME, true, deliverCallback, cancelCallback);}
}
3、惰性队列
1、使用场景
RabbitMQ 从 3.6.0 版本开始引入了惰性队列的概念。惰性队列会尽可能的将消息存入磁盘中，而在消费者消费到相应的消息时才会被加载到内存中，它的一个重要的设计目标是能够支持更长的队列，即支持更多的消息存储。当消费者由于各种各样的原因(比如消费者下线、宕机亦或者是由于维护而关闭等)而致使长时间内不能消费消息造成堆积时，惰性队列就很有必要了
默认情况下，当生产者将消息发送到RabbitMQ 的时候，队列中的消息会尽可能的存储在内存之中，这样可以更加快速的将消息发送给消费者。即使是持久化的消息，在被写入磁盘的同时也会在内存中驻留一份备份。当 RabbitMQ 需要释放内存的时候，会将内存中的消息换页至磁盘中，这个操作会耗费较长的时间，也会阻塞队列的操作，进而无法接收新的消息。虽然 RabbitMQ 的开发者们一直在升级相关的算法，但是效果始终不太理想，尤其是在消息量特别大的时候
2、两种模式
队列具备两种模式：default 和 lazy。默认的为default 模式，在3.6.0 之前的版本无需做任何变更。lazy模式即为惰性队列的模式，可以通过调用 channel.queueDeclare 方法的时候在参数中设置，也可以通过Policy 的方式设置，如果一个队列同时使用这两种方式设置的话，那么 Policy 的方式具备更高的优先级。如果要通过声明的方式改变已有队列的模式的话，那么只能先删除队列，然后再重新声明一个新的。
在队列声明的时候可以通过“x-queue-mode”参数来设置队列的模式，取值为“default”和“lazy”。下面示
例中演示了一个惰性队列的声明细节：
Map args = new HashMap();
args.put("x-queue-mode", "lazy");
channel.queueDeclare("myqueue", false, false, false, args);
3、内存开销对比
在发送 1 百万条消息，每条消息大概占 1KB 的情况下，普通队列占用内存是 1.2GB，而惰性队列仅仅
占用 1.5MB
十一、集群
1、使用集群的原因
最开始我们介绍了如何安装及运行 RabbitMQ 服务，不过这些是单机版的，无法满足目前真实应用的要求。如果 RabbitMQ 服务器遇到内存崩溃、机器掉电或者主板故障等情况，该怎么办？
单台 RabbitMQ服务器可以满足每秒 1000 条消息的吞吐量，那么如果应用需要 RabbitMQ 服务满足每秒 10 万条消息的吞吐量呢？购买昂贵的服务器来增强单机 RabbitMQ 务的性能显得捉襟肘，搭建一个 RabbitMQ 集群才是解决实际问题的关键.
2、搭建步骤
需要三台机器，这里不做演示
上一篇：【MySQL】浅谈视图
下一篇：栈和队列实现的思路和代码