分布式通信:发布订阅

什么是发布订阅?

远程调用的核心是在网络服务层封装了通信协议、序列化、传输等操作,让用户调用远程服务如同进行本地调用一样。

这种通信方式虽然也是设置成异步的,但是因为进程之间是直接交互的,所以当进程比较多时,会导致进程维护通信的复杂度非常高,且一个进程通信接口改变,与其通信的进程都会受到影响。

为了解决这个问题,我们需要设计专门的异步通信模式,包括消息发布订阅和消息队列两种方式。

发布订阅的三要素:

两种消息系统模式

消息系统包括两种典型模式:

点对点模式中的一个消息,只能被一个消费者消费,发布订阅模式中的一个消息,可以被多个消费者消费。

发布订阅模式的关键特征:

Kafka发布订阅原理

Kafka是一种典型的发布订阅消息系统,它的架构包括三部分:

Kafka的架构如如下所示。

《分布式技术原理与算法解析》学习笔记Day18

上图中还包括ZooKeeper集群,它用来协调和管理Broker和Consumer,实现Broker和Consumer的解耦,并未系统提高可靠性保证。Consumer和Broker启动时都会向ZooKeeper进行注册,由ZooKeeper进行统一管理和协调。

ZooKeeper会存储一些元数据信息,比如对于Broker,会存储主题对应哪些分区,每个分区的存储位置等,对于Consumer,会存储xiaofeizu中包含哪些Consumer,每个Consumer回负责消费哪些分区等。

Kafka Broker

为了解决消息存储的负载均衡和系统可靠性,Kafka引入了主题和分区的概念。

主题是一个逻辑概念,指消息类型或者数据类型。

分区指一个主题的内容可以被划分成多个集合,分布在不同的Broker上,不同的Broker在不同的节点上。

分区设计带来的好处:

  1. 实现负载均衡。
  2. 实现消息备份(我们可以设置Replicates)。

Kafka Consumer

Kafka中的消费组,指的是多个消费者的一个集合,一个消费组中的消费者共同消费主题消息,并且主题中每个消息只可以由消费组中的某一个消费者进行消费。

引入消费组可以解决单个消费者消费消息效率过低的问题。

观察者模式和发布订阅模式

观察者负责监控被观察者的状态变更,如果被观察者的状态发生改变,那么观察者根据状态的变更执行相关操作。观察者模式定义了被观察者和观察者的直接交互或者通信关系。

发布订阅模式中存在发布者、订阅者和消息中心,订阅者需要向消息中心指定自己对哪些数据感兴趣,发布者推送的数据放入消息中心后,消息中心根据订阅者订阅信息推送数据。发布者与订阅者之间引入了消息中心,实现的是间接通信。

观察者模式采用了直接通信,观察者与被观察者通信时延低一些,但它们的依赖关系比较强,不管是被观察者还是观察者的逻辑或接口有更改,另外一个都会受到影响。而发布者和订阅者模式采用间接通信,引入消息中心,相对比较厚重,且通信时延高一些,但实现了订阅者和发布者的解耦。

发布订阅中的消息传递模式

发布订阅中的消息传递有两种模式:

推模式中,消息中心需要考虑消费者的消费能力,不能把消费者压垮了,但从消息中心的角度看,这样可以控制消息的消费速度,调控积压消息。

拉模式中,消费者自己控制消息消费速度,但有可能会导致消息中心中消息挤压,会有消息丢失或者消息中心不可用的风险。

发表回复