Могу ли я загрузить JAR-файл из своей локальной системы с помощью Cloud Dataproc Python API?

При запущенном CLI командной строки Google Cloud вы можете указать локальную банку с флагом --jars. Однако я хочу отправить задание с помощью Python API. У меня это работает, но когда я указываю jar, если я использую префикс file:, он смотрит на главный кластер Dataproc, а не на мою локальную рабочую станцию.

Существует простой обходной путь: сначала просто загрузить банку с помощью библиотеки GCS, но я хотел проверить, поддерживают ли клиентские библиотеки Dataproc эту удобную функцию.


person Bill Prin    schedule 25.02.2021    source источник


Ответы (1)


Не сейчас. Как вы упомянули, наиболее удобный способ сделать это строго с использованием клиентских библиотек Python — сначала использовать клиент GCS, а затем указать файл задания в GCS.

person Brad Miro    schedule 25.02.2021