Есть ли ограничение по времени для выполнения бессерверного пакетного задания?
Я выполнил задание ETL по этой ссылке: https://www.serverless.com/blog/etl-job-processing-with-serverless-lambda-and-redshift
Мне интересно, есть ли ограничение на выполнение пакетного задания?
да. Функции AWS Lambda имеют ограничения по времени в своих конфигурациях и будут прекращены, если они будут превышены. Вы можете изменить это значение, но только до 15 минут работы (в настоящее время).
Проблема в том, что при работе с большими объемами данных не хватает времени для выполнения некоторых действий. В этом случае вам нужно будет перейти на Step Functions (конечные автоматы, которые могут запускать Lambdas) и Redshift Data API (выполнять запросы без постоянного соединения). Таким образом, вы можете запустить длительный запрос и выполнить опрос Step Function.
