Наблюдение на регистрационните файлове на Amazon S3 със Splunk?

Имаме голяма разширена мрежа от потребители, които проследяваме с помощта на значки. Общият трафик е около 60 милиона импресии на месец. В момента обмисляме да преминем от доста бавно решение за регистриране, базирано на база данни (изградено по поръчка на PHP—объркано...) към проста алтернатива, базирана на журнал, която разчита на регистрационни файлове на Amazon S3 и Splunk.

След като използвах Splunk за някои други задачи за анализ, наистина ми харесва. Но не е ясно как да настроите източник като S3 със системата. Изглежда, че отдалечените източници изискват инсталиран Universal Forwarder, което не е опция там.

Някакви идеи по въпроса?


amazon-web-services amazon-s3 splunk access-log
person Wandering Digital    schedule 03.05.2012    source източник
comment
Единственият въпрос, който имам, е как вашите регистрационни файлове стигат до S3? Търкаляте ли ги там след X минути/часа. Ако е така, ще бъдете ограничени само до исторически изглед извън реално време. Независимо дали можехме, бихте ли се интересували да го тествате? Ако е така, изпратете ми пинг.   -  person    schedule 07.05.2012

Отговори (4)


arrow_upward
1
arrow_downward

Много късен отговор, но търсих същото и намерих приложение Splunk, което прави това, което искате, http://apps.splunk.com/app/1137/. Все още не съм го пробвал обаче.

person cjg    schedule 08.03.2014
comment
Също толкова късно добавяне: Това приложение не се мащабира добре. Има грешка, която му пречи да чете повече от 1000 обекта (просто няма код за обработка на съкратени списъци). Освен това има няколко други недостатъка и изглежда няма приличен начин за разпределяне на товара между индексаторите. - person bstempi; 18.06.2014

arrow_upward
0
arrow_downward

@2rs2ts сигурен ли си, че ще ускори?
person opv    schedule 13.10.2015

arrow_upward
0
arrow_downward

Използвам http://www.insight4storage.com/ от AWS Marketplace, за да проследявам общото си използване на хранилище в AWS S3 по префикс, кофа или клас за съхранение във времето; освен това ми показва съхранението на предишните версии по префикс и на кофа. Той има настройка за запазване на S3 данните като регистрационни файлове във формат splunk, които може да работят за вашия случай на употреба, в допълнение към потребителския интерфейс и API на уеб услугата.

person TJCloudmin    schedule 28.08.2016

arrow_upward
0
arrow_downward

Използвате Splunk Add-On за AWS.

Това разбирам,

  1. Създайте екземпляр на Splunk. Използвайте версията на уебсайта или локалния AMI на splunk, за да създадете EC2, където splunk работи.

  2. Инсталирайте Splunk Add-On за приложението AWS на EC2.

  3. Въз основа на типа входни регистрационни файлове (напр. регистрационни файлове на Cloudtrail, регистрационни файлове на конфигурация, общи регистрационни файлове и т.н.) конфигурирайте добавката и предоставете идентификатор на акаунт в AWS или IAM роля и т.н. параметри.

  4. Добавката автоматично ще провери източника на AWS S3 и ще извлече най-новите регистрационни файлове след определен период от време (по подразбиране до 30 секунди).

За общ случай на употреба (като нашия), можете да опитате и конфигурирате Generic S3 вход за Splunk

person rahuljain1311    schedule 16.02.2020