Я получаю эту строку ошибки длиннее 2 147 483 647 байт всякий раз, когда размер моего файла .gz превышает ограничение в 2 ГБ. В любом случае я могу переопределить это или обойти это? task1 = FileToGoogleCloudStorageOperator( task_id='task1',...

Let's say that we have 3 task `A,B,C` that are executed in order `A>>B>>C`. I'm using Apache Airflow and creating a DAG that will use these 3 tasks. Мне пришлось бы написать (где задача A - ta, задача B - tb, задача C - tc):...

В настоящее время я использую Airflow для запуска DAG (скажем, dag.py), который имеет несколько задач, а затем у него есть скрипт python для выполнения (выполняется через bash_operator). Сценарий python (скажем, report.py) в основном берет данные из...

Мы запускаем Airflow в Google Cloud Composer. У меня есть сценарий bash, который вызывается в BashOperator моего DAG: split_files = BashOperator( task_id='split_gcp_files', bash_command='/home/airflow/gcs/dags/file_splitter.sh ',...