Я передаю свои данные JSON в Kinesis Firehose и отбрасываю их в S3 с этим пользовательским префиксом: short_date=!{timestamp:yyyy-MM-dd}/. Я знаю, что Firehose сам по себе не распознает это как данные JSON, и я не знаю, как добавить расширение для файлового объекта S3. Firehose сбрасывает данные в виде простого текстового файла (без каких-либо расширений). Как добавить расширение .json к моим данным?
Имя объекта Kinesis Firehose в S3 с расширением
Ответы (2)
Вы не можете сказать firehose добавить расширение .json, однако вы можете настроить уведомление о событии s3, которое срабатывает при каждом «положении» S3, и написать небольшую лямбда-функцию, которая переименовывает его для вас, если это требуется.
https://docs.aws.amazon.com/AmazonS3/latest/dev/NotificationHowTo.html
person
E.J. Brennan
schedule
16.09.2019
Недавно у меня была эта проблема. В итоге я написал небольшую лямбда-функцию, которая срабатывает, когда новый поток данных поступает в s3, и добавляет расширение. Я использовал этот учебник:
https://medium.com/lambdatv/integrating-s3-with-lambda-plus-some-use-cases-e82d3a02defc
person
Amit Baranes
schedule
16.09.2019
