Използваме flume и трябва да събера някои регистрационни съобщения в rabbitmq. Намерих източник имплементация , която чете съобщения от rabbitmq, но не можах да намеря приемник който може да пише съобщения в rabbit. Затова си мислех да напиша сам....

Според документацията на Flume от тук Източникът на Flume консумира събития, доставени му от външен източник като уеб сървър. Външният източник изпраща събития към Flume във формат, който се разпознава от целевия източник на Flume....

Опитвам се да напиша много лесна схема на avro (лесна, защото просто посочвам текущия си проблем), за да напиша файл с данни на avro въз основа на данни, съхранени във формат json. Номерът е, че едно поле не е задължително и едно от avrotools или аз...

Търся Flume "Spooling Directory Source" рекурсивен поглед за файловете в поддиректориите. Тук има някои препратки https://issues.apache.org/jira/browse/FLUME-1899 обаче оттогава излязоха множество версии, има ли някакъв начин да имаме рекурсивно...

Опитвам се да предавам поточно някои данни в HDFS с Flume, с единичен агент, конфигуриран да има netcat източник, канал на паметта и приемник на HDFS. Конфигурацията е следната: a1.sources = src1 a1.channels = ch1 a1.sinks = snk1 # SOURCES...

Тук се сблъсквам с проблем, при който получавам съобщение от източника на Kafka и пиша прехващач за извличане на две полета（dataSoure и businessType） от съобщението kafka (формат json). Тук използвам gson.fromJson(). Но проблемът е, че получих...