Срезы данных в ADF не выполняются последовательно во времени

У меня есть несколько действий в конвейере, и у них есть зависимости между собой. Когда я устанавливаю дату начала своего конвейера в прошлом, мой набор срезов данных не выполняется последовательно во времени. Чтобы уточнить:

Допустим, у меня есть два действия A1 и A2. A2 зависит от A1 и выполняется гораздо дольше, чем A1. Допустим, я загружаю свой пайплайн сегодня с датой начала 3 дня назад (d-3). Я хотел бы, чтобы мои действия следовали последовательности, как:

A1(d-3) -> A2(d-3) -> A1(d-2) -> A2(d-2) -> A1(d-1) -> A2(d-1) ->

Но на практике я вижу, что все срезы данных A1 были выполнены, тогда как A2 (d-3) все еще выполняется. Как обеспечить, чтобы все срезы данных для определенной даты были заполнены до того, как будут использованы срезы следующего дня?


person user2448338    schedule 19.03.2018    source источник


Ответы (1)


Я не думаю, что есть способ сделать это, потому что каждый срез данных независим от других и не должен зависеть от предыдущих выполнений. Если вы сделаете запрос правильно, порядок выполнения не должен иметь значения.

person Martin Esteban Zurita    schedule 19.03.2018