Я ищу рекурсивный поиск Flume «Spooling Directory Source» для файлов в подкаталогах. Здесь есть несколько ссылок https://issues.apache.org/jira/browse/FLUME-1899 однако с тех пор вышло несколько версий, есть ли способ, которым мы можем иметь рекурсивный поиск каталогов в подкаталогах для файлов в Spooling Source.
Flume Spooling Directory Source рекурсивный поиск файлов в подкаталогах
Ответы (1)
Я думаю, вы можете использовать патч FLUME-1899-2. патч напрямую. установите «recursiveDirectorySearch» как ture в вашем файле конфигурации.
ПРИМЕЧАНИЕ: регулярное выражение в ignorePattern файла конфигурации также повлияет на имя папки recursiveDirectory. поэтому вам может потребоваться изменить код в org/apache/flume/client/avro/ReliableSpoolingFileEventReader.java, если вы хотите игнорировать имя папки.
person
peyfey
schedule
01.12.2015
