Опитвам се да използвам предикати в моя DataFrameReader.jdbc() метод: df = sqlContext.read.jdbc( url="jdbc:db2://bluemix05.bluforcloud.com:50001/BLUDB:user=****;password=****;sslConnection=true;", table="GOSALES.BRANCH",...

по средата на проекта получавам следната грешка след извикване на функция в моята spark sql заявка Написах функция за дефиниране на потребителя, която ще вземе два низа и ще ги свърже след конкатенацията, тя ще вземе най-десния подниз с дължина...

Когато се опитвам да запазя рамка с данни като таблица Hive в pyspark df_writer.saveAsTable('hive_table', format='parquet', mode='overwrite') Получавам следната грешка: Причинено от: org.apache.hadoop.mapred.InvalidInputException:...

В документацията за apply() от модула pyspark.sql беше предоставен код, който съдържа двоеточие преди функцията 'pandas_udf()'. Какво означава това и защо е включено? Получавам синтактични грешки при опит да изпълня реда. Кодът от документацията е...

Бих искал да групирам по рамка от данни на pyspark и да изчисля дисперсията на конкретна колона. За обикновения човек това е доста лесно и може да се направи по този начин from pyspark.sql import functions as func...

Изпълнявам скрипт pyspark, в който изпълнявам sql заявка и създавам рамка с данни. В sql заявката има функция dense_rank(). Поради това пълното изпълнение на тази заявка отнема твърде много време. Има ли някакъв начин да изпълним заявката бързо...