Filebeat не отправляет информационные журналы

Как я могу установить файл, если мне нужны все остальные журналы, но не информация. Это моя конфигурация, но эта не работает:

filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /var/log/messages
    - /var/log/secure
    - /var/log/audit/audit.log
    - /var/log/yum.log
    - /root/.bash_history
    - /var/log/neutron/*.log
    - /var/log/nova/*.log
    - /var/log/keystone/keystone.log
    - /var/log/httpd/error_log
    - /var/log/mariadb/mariadb.log
    - /var/log/glance/*.log
    - /var/log/rabbitmq/*.log
  exclude_files: ['/var/log/neutron/metadata-agent.log$']
  ignore_older: 72h
- type: log
  enabled: true
  paths:
    - /var/log/neutron/metadata-agent.log
  level: error
  ignore_older: 72h
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
output.logstash:
  hosts: [""]

Моя цель в случае метаданных-agent.log. Я не хочу отправлять информационные журналы, а только все остальное, что отличается от такой информации:

2019-03-18 12:34:18.075 1183 TRACE neutron.agent.metadata.agent Exception: Unexpected response code: 504
2019-03-18 12:34:18.075 1183 TRACE neutron.agent.metadata.agent
2019-03-18 12:34:19.083 1186 ERROR neutron.agent.metadata.agent [-] Unexpected error.

Но с этой конфигурацией информация все еще отправляется. В чем проблема? Моя версия файла 6.2.


logging filebeat
person Badb0y    schedule 18.03.2019    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Вы можете определить процессоры в своей конфигурации для обработки событий до того, как они будут отправлены на настроенный выход.

Вы можете использовать процессор drop_event под Processors в filebeat.yml, как показано ниже. , Он удалит любую строку журнала, которая исходит из файла /var/log/neutron/metadata-agent.log, и регулярное выражение соответствует строке, начинающейся с ex: 2019-03-18 12:34:18.075 1183 INFO

Процессор drop_event отбрасывает все событие, если выполняется соответствующее условие

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - drop_event:
     when:
      and:
        - equals:
           source: '/var/log/neutron/metadata-agent.log'
        - regexp:
           message: '^\d{4}-\d{2}-\d{2} \d{2}\:\d{2}\:\d{2}\.\d{3}\s\d{4}\sINFO\s'
person ElasticCode    schedule 31.03.2019

arrow_upward
0
arrow_downward

Filebeat 7.x — вы можете просто использовать exclude_lines

  • Исключить линии. Список регулярных выражений для сопоставления. Он пропускает линии, которые
  • соответствие любому регулярному выражению из списка. include_lines вызывается перед
  • исключить_линии. По умолчанию строки не удаляются.
    exclude_lines: ['^DBG']

Источник: Filebeat Prospectors, < em>исключить_линии

person Andrew_abhi    schedule 15.08.2019