Опитвам се да извлека имена на колони и типове данни от динамичната рамка на Glue и исках да ги използвам в spark sql. Например: persons = glueContext.create_dynamic_frame.from_catalog( database="legislators",...

Изпълнявам скрипт pyspark, в който изпълнявам sql заявка и създавам рамка с данни. В sql заявката има функция dense_rank(). Поради това пълното изпълнение на тази заявка отнема твърде много време. Има ли някакъв начин да изпълним заявката бързо...