Я борюсь со странной проблемой, которую не могу понять. У меня есть базовая DAG, которая не делает ничего особенного. Он просто использует оператор bash для запуска скрипта Python. У меня запланирован запуск этой DAG каждый понедельник. Когда я...

У меня есть сценарий воздушного потока ниже, который запускает все сценарии Python как одну функцию. Я хотел бы, чтобы каждая функция python запускалась индивидуально, чтобы я мог отслеживать каждую функцию и их статус. ## Third party Library...

Я только что прошел процесс настройки моей настройки Airflow для параллельной обработки, следуя эту статью и используя эта статья . Кажется, все работает нормально в том смысле, что я смог запустить все эти команды из статей без каких-либо...

Я продолжаю получать ту же ошибку от запланированного BashOperator, который в настоящее время выполняет обратное заполнение (он «отстает» более чем на месяц). [2018-06-10 22:06:33,558] {base_task_runner.py:115} INFO - Running: ['bash', '-c',...

Настройка catchup_by_default = False в airflow.cfg, похоже, не работает. Кроме того, добавление catchup = False в DAG тоже не работает. Вот как воспроизвести проблему. Я всегда начинаю с чистого листа, выполняя airflow resetdb . Как только я...

Я хочу создать динамически созданный DAG из запроса таблицы базы данных. Когда я пытаюсь создать динамически создаваемый DAG из диапазона точного числа или на основе доступного объекта в настройках воздушного потока, это удалось. Однако, когда я...

У меня 8 комплектов задач. Каждый набор представляет собой серию задач: задача1 >> задача2 >> задача3. task3 зависит от task2, так как task2 зависит от task1. Моя проблема в том, что задача 2 никогда не запускается, пока не будут завершены все...

Моя команда использует Airflow для планирования заданий ETL. Прямо сейчас мы на LocalExecutor. Мы также занимаемся непрерывной интеграцией. Прямо сейчас, когда мы отправляем определенные типы изменений (например, добавляем нового оператора), мы...

Я использую воздушный поток на своем компьютере (Mac AirBook, Intel Core i5 1,6 ГГц и 8 ГБ 2133 МГц LPDDR3). DAG с несколькими задачами завершился неудачно с ошибкой ниже. Проверил несколько статей в Интернете, но практически без помощи. В самой...

Let's say that we have 3 task `A,B,C` that are executed in order `A>>B>>C`. I'm using Apache Airflow and creating a DAG that will use these 3 tasks. Мне пришлось бы написать (где задача A - ta, задача B - tb, задача C - tc):...

Я успешно настроил smtp-сервер. также работает нормально в случае сбоя работы. Но я попытался установить промах SLA по ссылке ниже. https://blog.clairvoyantsoft.com/airflow-service-level-agreement-sla-2f3c91cd84cc mid = BashOperator(...