Как извлечь имя столбца и типы данных из Glue Dynamic Dataframe?

Я пытаюсь извлечь имена столбцов и типы данных из динамического фрейма Glue и хотел использовать их в Spark sql. Например:

 persons = glueContext.create_dynamic_frame.from_catalog(
         database="legislators",
         table_name="customer_table")

person.printSchema ()

На выходе

root | - cust_no: long | - name: string | - address: string | - zip: long

Как извлечь имена столбцов и типы данных из динамического фрейма. Я хотел обрезать только струны, а не длинные. Я хотел использовать столбцы в Spark sql

spark.sql(""" SELECT cust_no, trim(name),trim(address),zip....""")

Посоветуйте, пожалуйста, как этого добиться.


amazon-web-services pyspark-dataframes aws-glue
person SK15    schedule 31.08.2020    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Вы можете преобразовать его в искровой фрейм данных и применить метод dftypes.

persons.toDF().dtypes

Используя этот метод, вы получаете список кортежей, содержащих столбец и соответствующий тип данных внутри вашего фрейма данных.

[('cust_no', 'long'),('name', 'string'),('address','string'),('zip','long')]
person ruifgmonteiro    schedule 28.01.2021