Автоматическое добавление новых документов в домен Amazon CloudSearch.

Я создал домен CloudSearch. Используя CLI данные успешно загружены в домен. Данные копируются из S3 в домен CloudSearch с помощью команды-

cs-import-documents -d searchdev3 --source s3://mybucket/html

Мне интересно, как данные будут добавлены в домен поиска позже, когда новый файл будет добавлен в корзину S3.

Можем ли мы выполнить любое из следующих действий:

  1. Создайте какое-то расписание, которое будет загружать документы в поисковый домен или
  2. Любой способ автоматически определить, добавлен ли какой-либо новый файл в S3, и загрузить его непосредственно в Search Domain.

Вышеупомянутые варианты кажутся возможными, но выполнение операции загрузки вручную каждый раз не кажется хорошей идеей.


person kamalpreet    schedule 01.12.2015    source источник


Ответы (1)


Я бы использовал службу обработки событий AWS Lambdas. Настроить поток событий на основе S3 довольно просто (см. http://docs.aws.amazon.com/AmazonS3/latest/dev/NotificationHowTo.html)

Затем ваша Lambda отправит поисковый документ в CloudSearch на основе события S3. Пример отправки документа из Lambda см. в разделе https://gist.github.com/fzakaria/4f93a8dbf483695fb7d5

person alexroussos    schedule 02.12.2015