Решения проекта Kafka для анализа HTTP-запросов на веб-сервере

Контекст:

  1. Веб-сервер, который ежедневно получает миллионы HTTP-запросов. Конечно, должен быть проект (названный обработчиком), который отвечает за обработку этих запросов и отвечает на них некоторой информацией.
  2. Со стороны сервера я хотел бы использовать Kafka для извлечения из них некоторой информации и анализа ее в реальном времени (или каждый временной интервал).

Вопрос:

  1. как я могу использовать эти запросы как производитель Кафки?
  2. как создать клиента Kafka? (все эти данные нужно проанализировать, а затем вернуть, но Kafka — это «просто» система сообщений)

Некоторые фантазии:

A1.1 Может быть, я могу позволить «обработчику» проекта вызывать банку Kafka, тогда он может инициировать код производителя для отправки сообщения Kafka.

A1.2 Возможно, я могу создать другой проект, который прослушивает все HTTP-запросы на сервере, но на сервере есть другие HTTP-запросы.

Я пытался придумать много решений, но я не уверен в них, я хотел бы спросить ваших ребят, знали ли вы уже какие-то зрелые идеи или у вас есть идеи для реализации этого?


apache-kafka apache-kafka-streams kafka-consumer-api kafka-producer-api
person llyjy21    schedule 01.07.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Вы можете использовать лося. kafka как брокер журналов

person xiaoqian    schedule 01.07.2017
comment
эй, сначала спасибо за ваш ответ, но я думаю, что elk + Kafka будет слишком большим, я новичок в Kafka, может быть, мне следует сначала попробовать какое-то простое решение только с Kafka, а затем я могу попробовать использовать другие технологии, чтобы сделать более сложное вещи - person llyjy21; 01.07.2017