Обновить загрузочное решение Apache Kafka Spring для подключения к Confluent Cloud Kafka?

У меня есть приложение Java Spring Boot, которое подключается к Apache Kafka.

KafkaController.java

package com.demo.controllers;

import com.demo.engine.Producer;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

@RestController
@RequestMapping(value = "/kafka")
public class KafkaController {

    private final Producer producer;

    @Autowired
    KafkaController(Producer producer) {
        this.producer = producer;
    }

    @PostMapping(value = "/publish")
    public void sendMessageToKafkaTopic(@RequestParam("message") String message) {
        this.producer.sendMessage(message);
    }
}

Потребитель.java

package com.demo.engine;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Service;

import java.io.IOException;

@Service
public class Consumer {

    private final Logger logger = LoggerFactory.getLogger(Producer.class);

    @KafkaListener(topics = "users", groupId = "group_id")
    public void consume(String message) throws IOException {
        logger.info(String.format("#### -> Consumed message -> %s", message));
    }
}

Producer.java

package com.demo.engine;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Service;

@Service
public class Producer {

    private static final Logger logger = LoggerFactory.getLogger(Producer.class);
    private static final String TOPIC = "users";

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    public void sendMessage(String message) {
        logger.info(String.format("#### -> Producing message -> %s", message));
        this.kafkaTemplate.send(TOPIC, message);
    }
}

SpringBootWithKafkaApplication.java

package com.demo;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class SpringBootWithKafkaApplication {

    public static void main(String[] args) {
        SpringApplication.run(SpringBootWithKafkaApplication.class, args);
    }

}

application.yml

server:
  port: 9000
spring:
  kafka:
    consumer:
      bootstrap-servers: localhost:9092
      group-id: group_id
      auto-offset-reset: earliest
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
    producer:
      bootstrap-servers: localhost:9092
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer

он отлично работает с локальным экземпляром kafka, и я создал облачную учетную запись Confluent и создал тему Kafka.

введите здесь описание изображения

Я понял, что мне нужно использовать приведенную ниже конфигурацию для Confluent Cloud Kafka, как показано ниже.

# Kafka
spring.kafka.properties.sasl.mechanism=PLAIN
spring.kafka.properties.bootstrap.servers=pkc-epwny.eastus.azure.confluent.cloud:9092
spring.kafka.properties.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule   required username='{{ CLUSTER_API_KEY }}'   password='{{ CLUSTER_API_SECRET }}';
spring.kafka.properties.security.protocol=SASL_SSL
# Confluent Cloud Schema Registry
spring.kafka.properties.basic.auth.credentials.source=USER_INFO
spring.kafka.properties.schema.registry.basic.auth.user.info={{ SR_API_KEY }}:{{ SR_API_SECRET }}
spring.kafka.properties.schema.registry.url=https://{{ SR_ENDPOINT }}

однако не уверен, куда добавить указанную выше конфигурацию и какое изменение кода требуется.


person Karthikeyan Vijayakumar    schedule 17.11.2020    source источник
comment
Вы можете просто использовать application.properties вместо application.yaml, тогда вам не нужно будет сильно менять   -  person OneCricketeer    schedule 17.11.2020
comment
Где я могу найти SR_ENDPOINT? Я не определил никакой схемы.   -  person Karthikeyan Vijayakumar    schedule 18.11.2020
comment
Затем удалите свойства реестра схемы. Они не требуются. Однако использование схемы, безусловно, является хорошей идеей по сравнению с необработанной строкой или неизвестными блобами JSON.   -  person OneCricketeer    schedule 18.11.2020
comment
Спасибо, я не знаю, что мне не хватает, у меня это не работает. У вас есть справочное/примерное приложение?   -  person Karthikeyan Vijayakumar    schedule 18.11.2020
comment
В репозиториях Confluent на github должно быть несколько примеров Spring, но у меня нет конкретных ссылок.   -  person OneCricketeer    schedule 18.11.2020