Журналы опроса с помощью logstash (ELK)

У меня возникла дилемма относительно опроса/хранения лог-файлов.
Дело в том, что нам нужно отслеживать наши логи из Cloudhub, агрегировать их с помощью Logstash и хранить (вероятно, с помощью ElasticSearch).

Anypoint Runtime Manager, по-видимому, поддерживает отправку событий в сторонние системы только в помещении (не из облака), поэтому я решил сделать демонстрацию для опроса журналов через REST API с помощью плагина logstash http-poller.

Я принимаю некоторые решения, с которыми у меня мало опыта.
При опросе вы всегда будете получать последние x журналов за определенный интервал времени. Я предполагаю, что эти параметры будут зависеть от типа логов, но мне все же интересно, на каком уровне вы будете заниматься дублированием извлеченных логов. И как вы справляетесь с неопределенностью пропуска журналов.

Это то, что вы будете обрабатывать на уровне хранилища, или это то, что вы будете обрабатывать сразу на logstash?
Спасибо, что поделились своими мыслями по этому вопросу.


logging elastic-stack logstash
person html_programmer    schedule 29.12.2016    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Не могу сказать, что у меня большой опыт в этой теме, но я так думаю.

Я думаю, что если Logstash будет работать как служба, это будет больше зависеть от вывода API для обработки дубликатов.

В то же время, если вы определите уникальный идентификатор в ответе, вы можете сообщить Logstash, чтобы он избегал дубликатов.

От Изменить идентификатор в elasticsearch

elasticsearch { 
    host => yourEsHost
    cluster => "yourCluster"
    index => "logstash-%{+YYYY.MM.dd}"
    document_id => "%{someFieldOfMyEvent}"
}
person Yeikel    schedule 29.12.2016
comment
@KimGysen Пожалуйста, держите меня в курсе. Мне интересно узнать, как вы ее решаете. - person Yeikel; 29.12.2016