Я прочитал здесь, что теперь Glue предоставляет возможность перематывать закладки заданий для задания Spark ETL.
Тем не менее, я не смог найти никакой информации о том, как это сделать. Подпараметры в опции «приостановленной» закладки задания кажутся полезными при перемотке закладки задания, но я не могу найти, как их реализовать (я использую консоль Glue).
Что вам нужно передать следующие параметры в разделе параметров задания. Закладки заданий приостановлены.
job-bookmark-from <from-value> — это идентификатор запуска, который представляет все входные данные, которые были обработаны до последнего успешного запуска, включая указанный идентификатор запуска.
job-bookmark-to <to-value> — это идентификатор запуска, который представляет все входные данные, которые были обработаны до последнего успешного запуска, включая указанный идентификатор запуска. Соответствующий ввод, за исключением ввода, обозначенного параметром , обрабатывается заданием.
