Apache Kafka – популярная платформа распределенной потоковой передачи, известная своей высокопроизводительной, отказоустойчивой и масштабируемой архитектурой. Kafka предоставляет набор основных API, которые позволяют разработчикам взаимодействовать с платформой. В этой статье мы рассмотрим четыре основные архитектуры API, используемые Kafka, и предоставим примеры кода, иллюстрирующие их использование.

1. API Producer:
   API Producer позволяет приложениям публиковать потоки записей в темах Kafka. Он предоставляет простой, но мощный интерфейс для надежной и асинхронной отправки сообщений. Вот пример использования Producer API в Java:

import org.apache.kafka.clients.producer.*;
public class ProducerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        Producer<String, String> producer = new KafkaProducer<>(props);
        String topic = "my_topic";
        String key = "my_key";
        String value = "Hello, Kafka!";
        ProducerRecord<String, String> record = new ProducerRecord<>(topic, key, value);
        producer.send(record);
        producer.close();
    }
}

2. Потребительский API:
   Потребительский API позволяет приложениям подписываться на темы Kafka и использовать записи параллельным и отказоустойчивым образом. Он предоставляет различные возможности для управления смещениями и обработки записей. Вот пример использования Consumer API в Java:

import org.apache.kafka.clients.consumer.*;
import java.time.Duration;
import java.util.Collections;
import java.util.Properties;
public class ConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "my_consumer_group");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        Consumer<String, String> consumer = new KafkaConsumer<>(props);
        String topic = "my_topic";
        consumer.subscribe(Collections.singleton(topic));
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                System.out.println("Received message: " + record.value());
            }
        }
    }
}

3. API Streams:
   API Streams позволяет разработчикам создавать приложения для обработки потоков в реальном времени на основе Kafka. Он обеспечивает высокоуровневый DSL и мощный набор потоковых преобразований и операций. Вот пример использования Streams API в Java:

import org.apache.kafka.streams.*;
import org.apache.kafka.streams.kstream.*;
import java.util.Properties;
public class StreamsExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("application.id", "my_stream_app");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        StreamsBuilder builder = new StreamsBuilder();
        KStream<String, String> stream = builder.stream("my_topic");
        KStream<String, String> transformedStream = stream.mapValues(value -> value.toUpperCase());
        transformedStream.to("output_topic");
        KafkaStreams kafkaStreams = new KafkaStreams(builder.build(), props);
        kafkaStreams.start();
    }
}

4. API-интерфейс соединителя.
   API-интерфейс соединителя обеспечивает интеграцию Kafka с внешними системами, обеспечивая плавное перемещение данных. Соединители можно использовать для источника данных из внешних систем в Kafka или для передачи данных из Kafka во внешние системы. Соединители реализованы в виде плагинов, и доступно несколько соединителей для общих источников и приемников данных.