Мы используем Flume, и мне нужно собрать несколько сообщений журнала в rabbitmq. Я нашел источник, реализацию , который читает сообщения от rabbitmq, но не смог найти приемник который может писать сообщения в кролика. Так что я думал о том, чтобы...

Согласно документации Flume из здесь Источник Flume использует события, доставленные ему внешним источником, таким как веб-сервер. Внешний источник отправляет события в Flume в формате, распознаваемом целевым источником Flume. Например,...

Я пытаюсь написать очень простую схему avro (простую, потому что я просто указываю на свою текущую проблему), чтобы написать файл данных avro на основе данных, хранящихся в формате json. Хитрость в том, что одно поле является необязательным, и кто-то...

Я пытаюсь передать некоторые данные в HDFS с помощью Flume с одним агентом, настроенным на наличие источника netcat, канала памяти и приемника HDFS. Конфигурация следующая: a1.sources = src1 a1.channels = ch1 a1.sinks = snk1 # SOURCES...

Я ищу рекурсивный поиск Flume «Spooling Directory Source» для файлов в подкаталогах. Здесь есть несколько ссылок https://issues.apache.org/jira/browse/FLUME-1899 однако с тех пор вышло несколько версий, есть ли способ, которым мы можем иметь...

Здесь я столкнулся с проблемой, что я получаю сообщение из источника Kafka и пишу перехватчик для извлечения двух полей (dataSoure и businessType) из сообщения kafka (формат json). Здесь я использую gson.fromJson(). Но проблема в том, что я получил...

У меня есть простой структурированный ввод, поступающий в режиме реального времени. Но у него есть мусор и в значениях, например, где-то есть «@» или шестнадцатеричные символы. Как я могу использовать перехватчик morphline flume для очистки...

Я знаю, как сделать каталог спула исходным кодом в Flume. Я использую каталог spool для копирования файлов из папки в приемник hdfs. Есть ли способ сделать каталог спулинга приемником, чтобы я мог копировать некоторые из моих файлов в локальную папку?

У меня есть требование, когда я хочу запустить агент Flume с каталогом буферизации в качестве источника. После того, как все файлы из каталога спула скопированы в HDFS (приемник), я хочу, чтобы агент остановился, поскольку я знаю, что все файлы...

В настоящее время у меня есть эта конфигурация в Flume TwitterAgent.sources = Twitter TwitterAgent.channels = MemChannel TwitterAgent.sinks = HDFS TwitterAgent.sources.Twitter.type= org.apache.flume.source.twitter.TwitterSource...