Вопросы по теме 'flume-ng'

Что использовать для доставки журналов с сервера приложений: Logstash forwarder, FLume или Fluentd?
Пересылка Logstash легкая, но от пересылки logstash до logstash есть задержка по сети. [если я использую пересылку Logstash на одном компьютере и отправляю журналы в Logstash, который находится на другом компьютере] Flume/Flume-ng: высокая...
453 просмотров

Как сделать каталог spoolind приемником в Flume
Я знаю, как сделать каталог спула исходным кодом в Flume. Я использую каталог spool для копирования файлов из папки в приемник hdfs. Есть ли способ сделать каталог спулинга приемником, чтобы я мог копировать некоторые из моих файлов в локальную папку?
96 просмотров
schedule 09.02.2024

Остановка агента Flume
У меня есть требование, когда я хочу запустить агент Flume с каталогом буферизации в качестве источника. После того, как все файлы из каталога спула скопированы в HDFS (приемник), я хочу, чтобы агент остановился, поскольку я знаю, что все файлы...
1941 просмотров
schedule 15.01.2024

Исключение при потоковой передаче твитов Получено фатальное предупреждение: access_denied в Flume
В настоящее время у меня есть эта конфигурация в Flume TwitterAgent.sources = Twitter TwitterAgent.channels = MemChannel TwitterAgent.sinks = HDFS TwitterAgent.sources.Twitter.type= org.apache.flume.source.twitter.TwitterSource...
581 просмотров
schedule 20.04.2024