Я запускаю Apache Kafka на своем компьютере с Windows с двумя Kafka-Connect-Workers (порт 8083, 8084) и одной темой с тремя разделами (репликация одного). Моя проблема в том, что я могу видеть переключение на другой рабочий Kafka-Connect всякий раз, когда я выключаю один из них, но балансировка нагрузки не происходит, потому что количество задач всегда ОДНО. Я использую официальный MongoDB-Kafka-Connector в качестве источника (ChangeStream) с tasks.max = 6. Я попытался обновить MongoDB с помощью нескольких потоков, чтобы он мог отправлять больше данных в Kafka-Connect и, возможно, мог заставить Kafka-Connect создавать больше задач. Даже при большем объеме данных количество задач остается единым.
Как я подтвердил, что выполняется только одна задача? Это через api http: // localhost: 8083 / connector / mongodb-connector / status: Response:
{
"name":"mongodb-connector",
"connector": {
"state":"RUNNING",
"worker_id":"xx.xx.xx.xx:8083"
}
"tasks": [
{
"id": 0,
"state": "RUNNING"
"worker_id": "xx.xx.xx.xx:8083"
}
],
"type": "source"
}
Я что-то здесь упустил? Почему не создаются дополнительные задачи?
