Има ли по-добър начин за зареждане на spark df в BigQuery чрез клъстер PySpark (dataporc)?

В момента използвам кода по-долу, за да заредя данни в BigQuery чрез клъстер на PySpark (dataproc), но или обработката отнема твърде много време, или се прекратява с грешка при превишено време за изпълнение. Има ли по-добър и по-бърз начин за зареждане на spark df в BigQuery?

output.write \
      .format("bigquery") \
      .option("table","{}.{}".format(bq_dataset, bq_table)) \
      .option("temporaryGcsBucket", gcs_bucket) \
      .mode('append') \
      .save()

По-долу е моята конфигурация на клъстера dataproc:

Master node : Standard (1 master, N workers)
Machine type : n1-standard-4
Number of GPUs : 0
Primary disk type : pd-standard
Primary disk size : 500GB
Worker nodes : 3
Machine type : n1-standard-4
Number of GPUs : 0
Primary disk type : pd-standard
Primary disk size : 500GB
Image version : 1.4.30-ubuntu18