Apache Kafka стал популярным выбором для создания масштабируемых и отказоустойчивых событийно-управляемых архитектур. Слушатели Kafka играют решающую роль в потреблении сообщений по темам Kafka. В этой статье мы рассмотрим различные методы эффективной обработки нескольких тем в прослушивателях Kafka, а также приведем примеры кода.

1. Метод 1: использование нескольких контейнеров прослушивателей

   • При таком подходе вы можете создать несколько контейнеров-прослушивателей Kafka, каждый из которых настроен на использование определенной темы.

   • Пример кода:

     @KafkaListener(topics = "topic1")
     public void listenToTopic1(String message) {
      // Process messages from topic1
     }
     
     @KafkaListener(topics = "topic2")
     public void listenToTopic2(String message) {
      // Process messages from topic2
     }

2. Метод 2. Использование регулярных выражений для сопоставления тем

   • Kafka позволяет использовать регулярные выражения для сопоставления нескольких тем в одном прослушивателе.
   • Пример кода:

     @KafkaListener(topics = "topic.*")
     public void listenToMultipleTopics(String message) {
      // Process messages from multiple topics matching the regex
     }

3. Метод 3. Использование групп потребителей с тематическим разделением

   • Используя группы потребителей, вы можете распараллелить обработку сообщений по нескольким темам, используя тематическое секционирование.
   • Пример кода:

     @KafkaListener(topicPartitions = {
      @TopicPartition(topic = "topic1", partitions = "0"),
      @TopicPartition(topic = "topic2", partitions = "0")
     })
     public void listenToMultipleTopicsWithPartitions(String message) {
      // Process messages from multiple topics with specific partitions
     }

4. Метод 4. Программная подписка на несколько тем

   • Вместо аннотаций вы можете программно подписаться на несколько тем с помощью API KafkaConsumer.
   • Пример кода:

     KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties);
     consumer.subscribe(Arrays.asList("topic1", "topic2"));
     while (true) {
      ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
      for (ConsumerRecord<String, String> record : records) {
          // Process messages from multiple topics
      }
     }

В этой статье мы рассмотрели различные методы обработки нескольких тем в прослушивателях Kafka. В зависимости от вашего варианта использования вы можете выбрать подход, который лучше всего соответствует вашим требованиям. Эффективно обрабатывая сообщения из нескольких тем, вы можете создавать надежные и масштабируемые системы, управляемые событиями, с помощью Apache Kafka.