Как запустить Spark Shell с помощью pyspark в Windows?

Я новичок в Spark и пытаюсь следовать отсюда инструкциям по инициализации оболочки Spark из Python с помощью cmd: http://spark.apache.org/docs/latest/quick-start.html

Но когда я запускаю в cmd следующее:

C:\Users\Alex\Desktop\spark-1.4.1-bin-hadoop2.4\>c:\Python27\python bin\pyspark

то я получаю следующее сообщение об ошибке:

File "bin\pyspark", line 21 
export SPARK_HOME="$(cd ="$(cd "`dirname "$0"`"/..; pwd)" 
SyntaxError: invalid syntax

Что я здесь делаю не так?

P.S. Когда в cmd пробую просто C:\Users\Alex\Desktop\spark-1.4.1-bin-hadoop2.4>bin\pyspark

тогда я получаю ""python" is not recognized as internal or external command, operable program or batch file".


pyspark apache-spark-1.4
person Alex    schedule 28.07.2015    source источник

Ответы (5)


arrow_upward
2
arrow_downward

Вам необходимо, чтобы Python был доступен в системном пути, вы можете добавить его с помощью setx:

setx path "%path%;C:\Python27"
person maxymoo    schedule 28.07.2015

arrow_upward
1
arrow_downward

Я довольно новый пользователь Spark (правда, на сегодняшний день). Я использую Spark 1.6.0 на машинах с Windows 10 и 7. Для меня сработало следующее:

import os

import sys

spark_home = os.environ.get('SPARK_HOME', None)

if not spark_home:

raise ValueError('SPARK_HOME environment variable is not set')

sys.path.insert(0, os.path.join(spark_home, 'python'))

sys.path.insert(0, os.path.join(spark_home, 'C:/spark-1.6.0-bin-hadoop2.6/python/lib/py4j-0.9-src.zip'))

execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))

Используя приведенный выше код, я смог запустить Spark в записной книжке IPython и в моей IDE Enthought Canopy Python. Раньше я мог запускать pyspark только через командную строку. Приведенный выше код будет работать только в том случае, если у вас правильно установлены переменные среды для Python и Spark (pyspark).

person Jon    schedule 12.02.2016

arrow_upward
0
arrow_downward

С помощью ссылки и помощи пользователя maxymoo я смог найти способ установить ПОСТОЯННЫЙ путь в Windows 7. Инструкции здесь:

http://geekswithblogs.net/renso/archive/2009/10/21/how-to-set-the-windows-path-in-windows-7.aspx

person Alex    schedule 28.07.2015

arrow_upward
0
arrow_downward

Я запускаю этот набор настроек пути всякий раз, когда запускаю pyspark в ipython:

import os
import sys
# Sys.setenv('SPARKR_SUBMIT_ARGS'='"--packages" "com.databricks:spark-csv_2.10:1.0.3" "sparkr-shell"') for R
### MANNN restart spart using ipython notebook --profile=pyspark --packages com.databricks:spark-csv_2.10:1.0.3  
os.environ['SPARK_HOME']="G:/Spark/spark-1.5.1-bin-hadoop2.6"

sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/bin") 
sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/python") 
sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/python/pyspark/") 
sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/python/pyspark/sql")
sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/python/pyspark/mllib")
sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/python/lib") 
sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/python/lib/pyspark.zip")
sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/python/lib/py4j-0.8.2.1-src.zip") 
sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/python/lib/pyspark.zip")

from pyspark import SparkContext 
from pyspark import SparkConf
from pyspark import SQLContext 

##sc.stop() # IF you wish to stop the context
sc = SparkContext("local", "Simple App")
person KarthikS    schedule 02.03.2016

arrow_upward
0
arrow_downward

Просто установите путь в System -> Environment Variables -> Path

  • R Путь в моей системе C: \ Program Files \ R \ R-3.2.3 \ bin
  • Путь Python в моей системе c: \ python27
  • Путь искры в моей системе c: \ spark-2

Путь должен быть разделен знаком ";" и между дорожками не должно быть пробелов

person Zeeshan Anwar    schedule 04.04.2017