Зависимости Apache Airflow, что, если задачи параллельны?


Let's say that we have 3 task `A,B,C` that are executed in order `A>>B>>C`.
I'm using Apache Airflow and creating a DAG that will use these 3 tasks.

Мне пришлось бы написать (где задача A - ta, задача B - tb, задача C - tc):

ta>>tb>>tc

Но что, если после A он перейдет к B и C, которые являются двумя параллельными задачами?
Как мне написать зависимости?


python airflow airflow-operator airflow-scheduler
person Fedeco    schedule 30.09.2020    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Самый простой способ сделать это - как показано ниже.

ta >> tb
ta >> tc

or

ta >> [tb, tc]

Это сделает B & C параллельными после A

Дополнительную информацию можно найти здесь: https://airflow.apache.org/docs/stable/concepts.html#bitshift-composition.

person gruby    schedule 30.09.2020