Data Streaming

Как установить и использовать Kafka Schema Registry Kafka Schema Registry — это отдельный сервис, который помогает обеспечить единообразие формата сообщений в Apache Kafka. Давайте посмотрим, как его установить и использовать в реальных сценариях. Варианты установки Docker / Docker Compose Самый быстрый способ попробовать — использовать образы Confluent. Пример docker-compose.yml: version: '3' services: zookeeper: image: confluentinc/cp-zookeeper:7.5.0 environment: ZOOKEEPER_CLIENT_PORT: 2181 kafka: image: confluentinc/cp-kafka:7.5.0 environment: KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092 KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 schema-registry: image: confluentinc/cp-schema-registry:7.5.0 environment: SCHEMA_REGISTRY_KAFKASTORE_BOOTSTRAP_SERVERS: PLAINTEXT://kafka:9092 SCHEMA_REGISTRY_LISTENERS: http://0.0.0.0:8081 ports: - "8081:8081" Запуск: ...

Что такое Kafka Schema Registry? При работе с Apache Kafka одна из основных проблем — это формат сообщений. Представьте: продюсер пишет события в одном формате, а консьюмер ждёт другой. Результат — ошибки и падения. Решением становится Kafka Schema Registry. Schema Registry — это отдельный сервис, который хранит и управляет схемами (чаще всего Avro, но также JSON Schema или Protobuf). Продюсер регистрирует схему один раз, а консьюмеры при чтении сообщений получают её по идентификатору. ...