Мониторинг журналов Amazon S3 с помощью Splunk?

У нас есть большая расширенная сеть пользователей, которых мы отслеживаем с помощью значков. Общий трафик составляет около 60 миллионов показов в месяц. В настоящее время мы рассматриваем возможность перехода от довольно медленного решения для ведения журналов на основе базы данных (специально созданного на PHP — беспорядочно...) на простую альтернативу на основе журналов, основанную на журналах Amazon S3 и Splunk.

После использования Splunk для некоторых других задач анализа он мне очень нравится. Но не понятно как настроить источник типа S3 с системой. Кажется, что для удаленных источников требуется установленный Universal Forwarder, который здесь не вариант.

Любые идеи по этому поводу?


amazon-web-services amazon-s3 splunk access-log
person Wandering Digital    schedule 03.05.2012    source источник
comment
Единственный вопрос, который у меня есть, это как ваши журналы попадают на S3? Вы перекатываете их туда через X минут/часов. Если это так, вы будете ограничены только историческим просмотром не в реальном времени. Независимо от того, если бы мы могли, вы были бы заинтересованы в его тестировании? Если да, пингуйте меня.   -  person    schedule 07.05.2012

Ответы (4)


arrow_upward
1
arrow_downward

Очень поздний ответ, но я искал то же самое и нашел приложение Splunk, которое делает то, что вы хотите, http://apps.splunk.com/app/1137/. Хотя я еще не пробовал.

person cjg    schedule 08.03.2014
comment
Столь же запоздалое добавление: это приложение плохо масштабируется. В нем есть ошибка, из-за которой он не может прочитать более 1000 объектов (у него просто нет кода для обработки усеченных списков). Он также имеет несколько других недостатков и, похоже, не имеет достойного способа распределения нагрузки между индексаторами. - person bstempi; 18.06.2014

arrow_upward
0
arrow_downward

Я бы предложил записывать предварительно обработанные данные j-son в базу данных documentdb. Например, с помощью очередей Azure или аналогичных технологий обмена сообщениями служебной шины, которые подходят для вашего сценария, в сочетании с azure documentdb. Поэтому я сохраню ваш подход на основе базы данных и изменю его, чтобы он был легко масштабируемой базой данных без схемы, основанной на документах.

person opv    schedule 13.10.2015

arrow_upward
0
arrow_downward

Я использую http://www.insight4storage.com/ из AWS Marketplace, чтобы отслеживать общие показатели использования хранилища AWS S3 по префикс, сегмент или класс хранения с течением времени; плюс он показывает мне хранилище предыдущих версий по префиксу и по ведрам. У него есть настройка для сохранения данных S3 в виде журналов формата splunk, которые могут подойти для вашего варианта использования, в дополнение к его пользовательскому интерфейсу и API веб-сервиса.

person TJCloudmin    schedule 28.08.2016

arrow_upward
0
arrow_downward

Вы используете дополнение Splunk для AWS.

Это то, что я понимаю,

  1. Создайте экземпляр Splunk. Используйте версию веб-сайта или локальный образ AMI splunk для создания EC2, на котором работает splunk.

  2. Установите надстройку Splunk для приложения AWS на EC2.

  3. В зависимости от типа входных журналов (например, журналы Cloudtrail, журналы конфигурации, общие журналы и т. д.) настройте надстройку и укажите идентификатор учетной записи AWS или роль IAM и т. д. параметры.

  4. Дополнение будет автоматически пинговать источник AWS S3 и получать последние журналы через указанное время (по умолчанию 30 секунд).

Для общего случая использования (например, нашего) вы можете попробовать настроить общий ввод S3 для

person rahuljain1311    schedule 16.02.2020