Filebeat: мониторинг двух уровней иерархии каталогов

Моя проблема

Рассмотрим следующую структуру каталогов:

/var/log/quodo/campaigns/deployment_29/campaign-32/users.log
/var/log/quodo/campaigns/deployment_29/campaign-12/ads.log
/var/log/quodo/campaigns/deployment_55/campaign-77/users.log
/var/log/quodo/campaigns/deployment_55/campaign-37/ads.log
...

Я хотел бы отправить все журналы в /var/log/quodo/campaigns/<whatever1>/<whatever2> в ElasticSearch с помощью Filebeat.

Filebeat не поддерживает рекурсивный мониторинг каталога:

Чтобы получить все файлы из предварительно определенного уровня подкаталогов, можно использовать следующий шаблон: /var/log/*/*.log.

При этом будут извлечены все .log файлы из подпапок /var/log. Он не извлекает файлы журнала из самой папки /var/log. В настоящее время невозможно рекурсивно получить все файлы во всех подкаталогах каталога.

Что я пробовал

filebeat.prospectors:
- input_type: log
  paths:
    - /var/log/quodo/campaigns/*/*/*
  scan_frequency: 1s
output.elasticsearch:
   <connection data>

Мой вопрос

Могу ли я использовать два уровня * в иерархии каталогов в конфигурации Filebeat?


logging filebeat
person Adam Matan    schedule 03.10.2017    source источник

Ответы (2)


arrow_upward
1
arrow_downward

он работает у меня на filebeat версии 7.6.1, чтобы контролировать рекурсивный

filebeat.prospectors:
  - input_type: log
  paths:
    - /var/log/**/*
person Sulaymon Hursanov    schedule 22.03.2020

arrow_upward
3
arrow_downward

Ниже моя версия filebeat

$ filebeat.sh --version
filebeat version 5.6.2 (amd64), libbeat 5.6.2

И я попробовал ниже config

filebeat.prospectors:

- input_type: log

  paths:
    - /var/log/**/**/*


output.console:
  pretty: true

logging.level: debug

И это отлично работает для меня

{
  "@timestamp": "2017-10-07T18:12:17.694Z",
  "beat": {
    "hostname": "vagrant",
    "name": "vagrant",
    "version": "5.6.2"
  },
  "input_type": "log",
  "message": "tarun",
  "offset": 6,
  "source": "/var/log/test1/test3/test.log",
  "type": "log"
}
person Tarun Lalwani    schedule 07.10.2017
comment
Аккуратный. Проведу тест-драйв как можно скорее. - person Adam Matan; 08.10.2017
comment
Работает. Большое спасибо! - person Adam Matan; 08.10.2017