Apache Flink в Kubernetes

Может ли кто-нибудь сообщить мне, как я могу настроить Flink на моей бессерверной платформе (FaaS) для выполнения операций, управляемых событиями?

Я посмотрел на функции Flink, и они кажутся многообещающими. Может ли кто-нибудь уточнить нижеприведенное?

  1. Что мне нужно установить в моем окружении FaaS. запускать функцию мигания при возникновении события (изменения файла в моем ведре s3)?

  2. У меня нет платформы больших данных, поэтому я планирую использовать flink в своем бессерверном / kubernetes env.

Заранее спасибо!!


apache-flink flink-streaming flink-cep faas flink-statefun
person testbg testbg    schedule 10.07.2020    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Для использования StateFun вам обычно потребуется:

  1. Ingress, запускающий функции.
  2. Фактический код, который будет реагировать на ваши события (функция с отслеживанием состояния) Dockerized
  3. Способ обеда вашего приложения

Конкретно:

  1. Каждое приложение-функция с отслеживанием состояния начинается с Ingress, в основном это воронка событий, на которые могут реагировать ваши функции. В вашем случае вы можете использовать Amazon Kinesis в качестве Ingress и убедиться, что ваши события S3 будут в конечном итоге там.

  2. Следующее, что вам нужно, это познакомиться с SDK функции с отслеживанием состояния, либо в Java или в Python и напишите логику, которая имеет дело с входящими событиями. Результатом этого этапа будет Образ Docker.

  3. Затем вам нужно обработать изображение, полученное в (2), и для этого вы можете использовать Kubernetes (вам не обязательно). Для вашего удобства предусмотрены схемы управления и простая утилита для создания необходимой k8s ресурсы.

person Igal    schedule 20.07.2020
comment
Спасибо за подробности. Проверим Кинезис. - person testbg testbg; 24.07.2020