Когато стартирам заявка в Databricks/PySpark, получавам следната грешка:
org.apache.spark.SparkException: Could not execute broadcast in 300 secs. You can increase the timeout for broadcasts via spark.sql.broadcastTimeout or disable broadcast join by setting spark.sql.autoBroadcastJoinThreshold to -1
Как да направя това програмно (Python) в бележник на Databricks? Опитах следното:
>>> spark.sql.autoBroadcastJoinThreshold(-1)
result:
AttributeError: 'function' object has no attribute 'autoBroadcastJoinThreshold'
>>> spark.sql.autoBroadcastJoinThreshold = -1
result:
AttributeError: 'method' object has no attribute 'autoBroadcastJoinThreshold'
Може би spark.sql.autoBroadcastJoinThreshold
е ключ за свойство и това свойство по някакъв начин може да бъде зададено на -1, но все още не съм намерил никаква документация, която да описва как да се постигне това с помощта на Python.