Вопросы по теме 'logstash-grok'
Фильтр Logstash для преобразования $epoch.$microsec в $epoch_millis
Я пытаюсь преобразовать поле метки времени в форме $epoch.$microsec в $epoch_millis .
Пример:
1415311569.541062 --> 1415311569541
Похоже, что в Logstash нет никаких средств для умножения чисел, поэтому ts * 1000 и приведение к...
1220 просмотров
schedule
12.06.2024
Анализ задержек из лог-файлов с помощью logstash и kibana
Я новичок в стеке ELK и надеялся использовать его для отладки проблем из файлов журнала. Мое требование состоит в том, чтобы построить график времени, необходимого потоку для обработки задачи и возвращения обратно в пул. В основном журналы выглядят...
1020 просмотров
schedule
06.06.2024
Создание индекса на основе сопоставления с образцом в logstash
Я пытаюсь создать централизованную систему ведения журнала для групповых серверов Windows и Linux, используя журнал elasticsearch logstash и kibana. Моим вводом будут системные журналы из обеих систем (один входной поток). Я пытаюсь понять, есть ли...
1071 просмотров
schedule
28.10.2023
Logstash - список синтаксического анализа JSON
Мне очень нравится ELK для разбора логов. Однако я застрял в точке, где нужно проанализировать список словарей. Ниже приведены мои журналы: -
IP - - 0.000 0.000 [24/May/2015:06:51:13 +0000] *"POST /c.gif HTTP/1.1"* 200 4 *...
1557 просмотров
schedule
11.11.2023
Избегайте переопределения поля сообщения по умолчанию в logstash
Я использую logstash для анализа своих журналов. когда я анализирую json (который содержит поле «сообщение») переопределяет поле сообщения по умолчанию. Я попытался использовать опцию remove_field фильтра json{}, но это не сработало для меня.
Вот...
111 просмотров
schedule
07.12.2022
Попытка разобрать собственный журнал с помощью Grok
У меня есть следующий журнал:
2016-10-20T23:56:42.000+00:00 clientIp:83.149.9.216 TransactionId=1233 TransactionType=Sell
Как я могу игнорировать слова clientIp :, TransactionId = и TransactionType =, чтобы они соответствовали только...
138 просмотров
schedule
30.05.2024
Logstash — Добавляем поля из лога — Grok
Я изучаю logstash и использую Kibana для просмотра журналов. Я хотел бы знать, можно ли в любом случае добавлять поля, используя данные из свойства message .
Например, лог такой:
@timestamp:December 21st 2016, 21:39:12.444 port:47,144...
7427 просмотров
schedule
30.03.2024
Шаблон Grok для извлечения сложной структуры строк?
У меня есть одна строка, например
sgcib.solstis.core.dao.referential.InsertionMonitoringDao:10:37:36.860 [SOLSTAIRJVM1: customService :false-persistor-3-] INFO Begin updating insertion_monitoring table: analysisProcessId=1000000648897,...
175 просмотров
schedule
03.12.2023
как заменить logstash @timestamp на временную метку журнала
Моя отметка времени в журналах имеет следующий формат.
2016-04-07 18:11:38.169 which is yyyy-MM-dd HH:mm:ss.SSS
Этот файл журнала не является живым (сохраненным / старым), и я пытаюсь заменить этот timpestamp значением logstash @timestamp...
9456 просмотров
schedule
31.10.2023
Пользовательский шаблон фильтра logstash grok не работает
У меня есть файл журнала ( http://codepad.org/vAMFhhR2 ), и я хочу извлечь конкретное число из него (строка 18). Я написал собственный шаблон фильтра Grok, протестировал его на http://grokdebug.herokuapp.com/ , он отлично работает и извлекает...
710 просмотров
schedule
22.01.2024
Фильтр Logstash grok, отладчик в порядке, но сбой при анализе logstash
мой фильтр grok в порядке в отладчике grok, но не работает, когда я запускаю logstash.
мой линейный журнал
[Mon Aug 28 09:16:16.028821 2017] [php7:notice] [pid 11111] [client 22.22.66.66:66666] message d'erreur
мой .conf
filter {...
599 просмотров
schedule
04.02.2024
Ошибка Logstash с регулярным выражением конфигурации
У меня есть следующая запись в журнале:
2017-08-29 01:10:11.111 [http-noo-111-exe-1] TRACE com.javasystemsolutions.xml.gateway.Actions - The XML Gateway encountered an error. The message was Server with id OPA is not configured.
The template in...
118 просмотров
schedule
10.06.2024
Где именно я могу разместить свое пользовательское регулярное выражение GROK для Logstash?
Итак, я наконец понял, как написать регулярное выражение для Grok с помощью отладчика XPack. Теперь мой вопрос: где именно я должен разместить свой файл пользовательского шаблона в системе, чтобы Logstash мог подобрать пользовательские шаблоны?
И...
577 просмотров
schedule
13.05.2024
Есть ли возможность подключить logstash к Java?
Я новичок в logstash и ElasticSearch. Мне нравится знать, можно ли подключить logstash к java.
Вот мой вопрос, у меня есть несколько типов файлов журналов, и мне нужно проанализировать эти разные файлы журналов. Мне не нравится писать фильтр...
215 просмотров
schedule
26.01.2024
Проблема с синтаксическим анализом Grok с использованием журнала синтаксического анализа, содержащего текст, начинающийся [дата] [имя хоста]
Я пытаюсь разобрать журнал ниже, используя grok
[2018-10-06 12:04:03:0227] [MYMACHINENAME]
и выражение grok, которое я использовал,
/[%{DATESTAMP:date}/] /[%{WORD:data}%/]
и это выражение не работает. Я пытался заменить WORD на имя...
208 просмотров
schedule
26.05.2024
Не удается создать поле с переменной из регулярного выражения соответствия Grok
В настоящее время я использую logstash, elasticsearch и kibana 6.3.0
Мой журнал создается по уникальному пути идентификатора: / tmp / USER_DATA / FactoryContainer / images / (мой уникальный идентификатор) / oar / oar_image_job (мой уникальный...
399 просмотров
schedule
29.11.2023
Шаблон ELK Grok - переменное количество параметров для журнала ошибок nginx
Я пытаюсь настроить шаблон GROK для записи журналов ошибок nginx, но содержимое меняется. Например, если реферера нет, он просто оставляет это значение в конце строки:
2018/08/30 09:30:32 [error] 84843#0: *24414687217 open()...
435 просмотров
schedule
02.12.2023
Настройте журналы из файла в beats.config файла Lostash.
Я использую ELK с filebeat. Я отправляю журналы из filebeat в Logstash, а оттуда в Elastic и визуализирую в Kibana. Я вставляю результат json, который отображается в результате журнала kibana, как показано ниже:
{
"_index":...
1342 просмотров
schedule
13.12.2023
Существует ли единый шаблон grok, который может анализировать 2 разных стиля одинаковых системных журналов?
У меня есть системные журналы типа --
Apr 05 11:35:54 FNM00181600566-A control-path[20757]: 2019-04-05 11:35:54.168 [] [INFO] [com.command.CommandServiceVerticle|vert.x-eventloop-thread-3] [f0a447b9-cd28-4062-9635-8cebac682567] About to process...
33 просмотров
schedule
13.01.2024
Проблема с разделением массива Json Конфигурация Logstash: Неожиданный конец ввода: ожидаемый маркер закрытия для массива (начальный маркер в [Источник: (S
Вот как выглядит мой объект json, я убедился, что json, который я получаю, является действительным. Я пытаюсь настроить файлы конфигурации для одного и того же, но всегда получаю ту же ошибку
Ошибка разбора SON, исходные данные теперь в поле...
798 просмотров
schedule
17.11.2023
