Logstash перестает получать через некоторое время в стеке ELK?

У меня установлен и запущен стек ELK (Elasticsearch / Logstash / Kibana).

Я использую один сервер в качестве сервера ELK для сбора и хранения всех журналов с других серверов. logstash-forwarder используется для отправки журналов в ELK. Проблема в:

Logstash получает много журналов (как я проверял с tailf logstash.stdout), но через некоторое время, когда я снова tailf logstash.stdout, ничего нет (не получая журналы), после перезапуска демона Logstash он снова начинает получать.


elastic-stack logstash
person Ibrahim Albarki    schedule 16.03.2015    source источник
comment
Что говорят журналы logstash? Вы пробовали не отправлять так много журналов, чтобы узнать, действительно ли это является причиной вашей проблемы?   -  person bradvido    schedule 16.03.2015
comment
@bradvido, спасибо за поддержку, журналы logstash пусты, поэтому я попытался уменьшить количество отправляемых журналов, затем демон logstash оставался дольше, а затем я получил эту ошибку в журнале logstash.log ‹blink› Ошибка: ваше приложение использовало больше памяти чем защитный колпачок 500М. Укажите -J-Xmx #### m, чтобы увеличить его (#### = размер ограничения в МБ). Укажите -w для полной трассировки стека OutOfMemoryError ‹/blink›   -  person Ibrahim Albarki    schedule 19.03.2015
comment
другая информация о вопросе, которая может помочь другим ответить мне. когда я ввожу эту команду, curl 'localhost:9200/_cat/nodes?v'i получил этот результат host ip heap.percent ram.percent load node.role master name elasticsearch_node_master xxxxxxx 57 87 0.60 d * Death's Head II logstash_node xxxxxx 99 c - logstash-logs.-50227-226 Я думаю, что здесь показана ошибка, потому что узел logstash использует 99 из heap.help, пожалуйста?   -  person Ibrahim Albarki    schedule 24.03.2015

Ответы (1)


arrow_upward
1
arrow_downward

когда вы используете Logstash для фильтрации данных в файлы, когда Logstash получает EOF (конец файла), происходит то, что вы сказали.

Если это похоже на то, что я думаю, вы можете проконсультироваться с этим: Как вернуться в терминал, когда фильтр logstash получает eof?

В случае использования отправителей, возможно, работает так же, как файлы.

Но если вы лучше опишете свою проблему / ошибки, вы сможете получить больше возможных решений.

person Miguel Bessa    schedule 02.08.2015