Ако използвате Spark-Shell, той се появява в банера в началото.

Програмно може да се използва SparkContext.version.

Отворете терминала на обвивката на Spark, стартирайте sc.version

Можете да използвате командата spark-submit: spark-submit --version

В програмата/обвивката на Spark 2.x,

използвай

spark.version   

Където spark променлива е от SparkSession обект

Използване на регистрационните файлове на конзолата в началото на spark-shell

[root@bdhost001 ~]$ spark-shell
Setting the default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/

Без да влизате в код/шел

spark-shell --version

[root@bdhost001 ~]$ spark-shell --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/
                        
Type --help for more information.

spark-submit --version

[root@bdhost001 ~]$ spark-submit --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/
                        
Type --help for more information.

Ако използвате Databricks и говорите с бележник, просто стартирайте:

spark.version

Ако използвате pyspark, използваната версия на spark може да се види до удебеленото лого на Spark, както е показано по-долу:

manoj@hadoop-host:~$ pyspark
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 1.6.0
      /_/

Using Python version 2.7.6 (default, Jun 22 2015 17:58:13)
SparkContext available as sc, HiveContext available as sqlContext.
>>>

Ако искате изрично да получите версията на spark, можете да използвате метода на версията на SparkContext, както е показано по-долу:

>>>
>>> sc.version
u'1.6.0'
>>>

използвайте по-долу, за да получите версията на искра

spark-submit --version

Която и командна обвивка да използвате или spark-shell, или pyspark, тя ще кацне върху лого на Spark с име на версията до него.

$ pyspark
$ Python 2.6.6 (r266:84292, 22 май 2015 г., 08:34:51) [GCC 4.4.7 20120313 (Red Hat 4.4.7-15)] на linux2 ....... ..... ........... Добре дошли във
версия 1.3.0

Ако сте на преносим компютър Zeppelin, можете да стартирате:

sc.version 

за да знаете и версията на scala, можете да изпълните:

util.Properties.versionString

Ако искате да го стартирате програмно, като използвате python скрипт

Можете да използвате това script.py:

from pyspark.context import SparkContext
from pyspark import SQLContext, SparkConf

sc_conf = SparkConf()
sc = SparkContext(conf=sc_conf)
print(sc.version)

стартирайте го с python script.py или python3 script.py

Този горен скрипт също работи на Python shell.

Използването на print(sc.version) директно в скрипта на Python няма да работи. Ако го стартирате директно, ще получите тази грешка:NameError: name 'sc' is not defined.

Ако искате да отпечатате версията програмно, използвайте

 from pyspark.sql import SparkSession 

 spark = SparkSession.builder.master("local").getOrCreate() 
 print(spark.sparkContext.version)

Повечето от отговорите тук изискват инициализиране на sparksession. Този отговор предоставя начин за статично извеждане на версията от библиотеката.

ammonites@ org.apache.spark.SPARK_VERSION
res4: String = "2.4.5"

Ако като мен, човек изпълнява spark в докер контейнер и има малко средства за spark-shell, може да стартира jupyter notebook, да изгради SparkContext обект, наречен sc в jupyter notebook, и да извика версията, както е показано в кодовете по-долу:

docker run -p 8888:8888 jupyter/pyspark-notebook ##in the shell where docker is installed

import pyspark
sc = pyspark.SparkContext('local[*]')
sc.version

За да отпечатате версията на Spark върху обвивката, следвайте работата по решение.

SPARK_VERSION=$(spark-shell --version &> tmp.data ; grep version tmp.data | head -1 | awk '{print $NF}';rm tmp.data)
echo $SPARK_VERSION

Неинтерактивен начин, който използвам за правилното инсталиране на версия на PySpark на AWS EMR:

# pip3 install pyspark==$(spark-submit --version 2>&1| grep -m 1  -Eo "([0-9]{1,}\.)+[0-9]{1,}") 
Collecting pyspark==2.4.4

решение:

#  spark-shell --version 2>&1| grep -m 1  -Eo "([0-9]{1,}\.)+[0-9]{1,}"
2.4.4

решение:

# spark-submit --version 2>&1| grep -m 1  -Eo "([0-9]{1,}\.)+[0-9]{1,}"
2.4.4