сюжетная визуализация не работает в ядре Pyspark на ноутбуке EMR Jupyterhub

Я пытаюсь построить графики, используя plotly на ноутбуке EMR Jupyterhub, однако графики не отображаются в ядре Pyspark. (Примечание: ядро ​​​​Python отлично отображает график)

Пример кода, который я пытаюсь:

data_canada = px.data.gapminder().query("country == 'Canada'")
fig = px.bar(data_canada, x='year', y='pop')
fig.show()

I am able to plot a graph with %%display sparkmagic however I am not able to figure out if we can get plotly working with %%display sparkmagic - 

import random
   data = [('Person:%s' % i, i, random.randint(1, 5)) for i in range(1, 50)]
   columns = ['Name', 'Age', 'Random']
   spark_df = spark.createDataFrame(data, columns)

%%display
spark_df

Кто-нибудь пробовал это успешно? Пожалуйста, порекомендуйте.


jupyter-notebook pyspark amazon-emr pyspark-dataframes plotly
person RMu    schedule 06.10.2020    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Это ограничение искромагии. Вам придется прибегнуть к %%local магии. Из документов sparkmagic.

Поскольку весь код запускается на удаленном драйвере через Livy, все структурированные данные должны быть сериализованы в JSON и проанализированы библиотекой Sparkmagic, чтобы ими можно было манипулировать и визуализировать на стороне клиента. На практике это означает, что вы должны использовать Python для обработки данных на стороне клиента в режиме %%local.

person user14445468    schedule 13.10.2020