Зарегистрируйте Spyder для ошибки Spark

Я попытался настроить простой автономный кластер Spark с интерфейсом к Spyder. В списке рассылки искры и в других местах было несколько замечаний, которые дают рекомендации как это сделать.

Однако это не работает для моей установки. Как только я отправляю скрипт на spark-submit, я получаю следующую ошибку:

File "/home/philip/Programme/anaconda2/bin/spyder.py", line 4, in <module> import spyder.app.start
ImportError: No module named app.start

Насколько я понимаю, это должно что-то делать с переменной $PYTHONPATH. Я уже изменил путь к модулю py4j (в текущей версии spark 2.1.0 это py4j-0.10.4 вместо указанного.

Мой файл .bashrc сейчас выглядит так:

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre
export SPARK_HOME=~/Programme/spark-2.1.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH
export PATH=$PATHusr/bin/spyder

export PYTHONPATH=${PYTHONPATH}home/philip/Programme/anaconda2/bin/

# added by Anaconda2 4.3.0 installer
export PATH=/home/philip/Programme/anaconda2/bin:$PATH

Если кто-то сталкивался с подобной проблемой, буду очень признателен за помощь!


python spyder apache-spark pyspark pythonpath
person dennlinger    schedule 16.02.2017    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Столкнулся с похожей ошибкой. Причина в моем случае заключалась в том, что я не установил PYTHONPATH. Вы должны попробовать установить это для вашей установки python. Итак, вместо:

export PYTHONPATH=${PYTHONPATH}home/philip/Programme/anaconda2/bin/

Пытаться

export PYTHONPATH=/home/philip/Programme/anaconda2/bin/python2.7

Мне удалось настроить spyder, используя следующий код в окне редактора spyder:

import os
import sys

if 'SPARK_HOME' not in os.environ:
    os.environ['SPARK_HOME']='/home/ramius/spark-2.1.1-bin-hadoop2.7'
SPARK_HOME=os.environ['SPARK_HOME']

if 'PYTHONPATH' not in os.environ:
    os.environ['PYTHONPATH']='/home/ramius/anaconda2/bin/python2.7'
PYTHONPATH=os.environ['PYTHONPATH']

sys.path.insert(0,os.path.join(SPARK_HOME,"python"))
sys.path.insert(0,os.path.join(SPARK_HOME,"python","lib"))
sys.path.insert(0,os.path.join(SPARK_HOME,"python","lib","pyspark.zip"))
sys.path.insert(0,os.path.join(SPARK_HOME,"python","lib","py4j-0.10.4-src.zip"))

from pyspark import SparkContext

Надеюсь, это поможет.

person Gunnvant    schedule 06.05.2017