Задание воздушного потока не выполняется по расписанию

У меня есть задание, которое я настроил на 9:00 UTC в среду. К концу интервала задержки он не работал, как планировалось, что мне показалось любопытным, потому что я считаю, что все правильно определил.

default_args = {
    'start_date': airflow.utils.dates.days_ago(0),
    'retries': 1,
    'retry_delay': timedelta(minutes=5)
}

dag = DAG(
    'noncomp_trial',
    default_args=default_args,
    description='test of dag',
    schedule_interval='0 9 * * 3',
    dagrun_timeout=timedelta(minutes=20))

Если у кого-то есть какие-либо советы здесь, которые были бы очень признательны!


airflow directed-acyclic-graphs
person ryanf    schedule 23.07.2021    source источник
comment
Отвечает ли это на ваш вопрос? Планировщик Apache Airflow не запускает DAG в запланированное время   -  person SergiyKolesnikov    schedule 25.07.2021

Ответы (1)


arrow_upward
0
arrow_downward

Планировщик воздушного потока запускает задачи после того, как значение start_date + одно значение schedule_interval прошло. В вашем примере группа обеспечения доступности баз данных не будет работать до 9:00 утра в среду на следующей неделе.

Дополнительную информацию о взаимосвязи между start_date и schedule_interval см. здесь.

Вы можете попробовать установить start_date на статическую дату в прошлом на неделю или две, чтобы посмотреть, сработает ли это? И чтобы убедиться, что планировщик не пытается выполнить каждое вхождение start_date + schedule_interval между этим новым start_date и настоящим, вы можете установить catchup=False в DAG. Например:

from datetime import datetime

dag = DAG(
    'noncomp_trial',
    default_args= {
        'start_date': datetime(2021, 7, 1),
        'retries': 1,
        'retry_delay': timedelta(minutes=5)
    },
    description='test of dag',
    schedule_interval='0 9 * * 3',
    dagrun_timeout=timedelta(minutes=20),
    catchup=False,
)
person Josh Fell    schedule 23.07.2021
comment
именно так работает планировщик, когда задание инициализируется? кажется странным, что мне нужно запланировать что-то на неделю вперед, чтобы оно запускалось, когда я хочу - person ryanf; 23.07.2021
comment
Именно так планировщик будет определять, что должно выполняться все время, но для первоначального запуска DAG вам нужно будет подумать о том, каким должен быть start_date для обработки методологии start_date + schedule_interval. Это не значит, что вам обязательно нужно запланировать это на неделю вперед, просто подумайте о том, каким должно быть значение start_date. Предлагается улучшение Airflow, чтобы сделать механизм планирования более надежным и интуитивно понятным: cwiki.apache.org/confluence/display/AIRFLOW/ - person Josh Fell; 24.07.2021