Я пытаюсь создать прототип, где я могу делиться ресурсами между проектами для выполнения задания в облачной платформе Google.
Мотивация: допустим, есть два проекта: проект A и проект B. Я хочу использовать кластер dataproc, созданный в проекте A, для выполнения задания в проекте B. Проект находится в одной организации на платформе GCP.
Как я могу это сделать?
Есть несколько способов управлять ресурсами в проектах. Вероятно, самый простой способ сделать это:
На ум приходят альтернативные способы сделать это:
Сказав это, первый подход с использованием операторов, вероятно, самый простой на сегодняшний день и будет рекомендованным способом делать то, что вы хотите.
Что касается Dataproc, когда вы создаете задание, оно привязывается только к кластерам в рамках конкретного проекта. Невозможно создать рабочие места в одном проекте против кластеров в другом. Это связано с тем, что такие вещи, как ведение журнала, аудит и другая связанная с заданием семантика, беспорядочны, когда кластеры находятся в другом проекте.
