Я пытаюсь создать прототип, где я могу делиться ресурсами между проектами для выполнения задания в облачной платформе Google. Мотивация: допустим, есть два проекта: проект A и проект B. Я хочу использовать кластер dataproc, созданный в проекте A,...

У меня есть несколько искровых работ, которые я должен планировать дважды или трижды в день, в зависимости от требований к процессу, и это своего рода пакетная работа. У нас была такая настройка в системе OnPremise Hadoop и использование Apache Oozie...

Мне нужно некоторое разъяснение относительно отношения ядра AirFlow: параллелизм, слоты Executor Open и его влияние на продолжительность задачи. Основываясь на своем эксперименте, я заметил, что количество открытых слотов исполнителя прямо...

Я хочу создать группу DAG для работы в Google Cloud Composer. Рабочий процесс содержит ParallelFor, и я не знаю, как его смоделировать. Рабочий процесс выглядит примерно так: task1 >> task2 >> task3 >> task4 где task2...

Мы запускаем Airflow в Google Cloud Composer. У меня есть сценарий bash, который вызывается в BashOperator моего DAG: split_files = BashOperator( task_id='split_gcp_files', bash_command='/home/airflow/gcs/dags/file_splitter.sh ',...