Количество значений списка в искре - кадр данных

В cassandra у меня есть тип столбца списка. Я новичок в искрах и скалах и понятия не имею, с чего начать. В искре я хочу получить подсчет каждого значения, возможно ли это сделать. Ниже приведен кадр данных

+--------------------+------------+
|                  id|        data|
+--------------------+------------+
|53e5c3b0-8c83-11e...|      [b, c]|
|508c1160-8c83-11e...|      [a, b]|
|4d16c0c0-8c83-11e...|   [a, b, c]|
|5774dde0-8c83-11e...|[a, b, c, d]|
+--------------------+------------+

Я хочу вывести как

+--------------------+------------+
|   value            |      count |
+--------------------+------------+
|a                   |      3     |
|b                   |      4     |
|c                   |      3     |
|d                   |      1     |
+--------------------+------------+

искровая версия: 1.4


apache-spark apache-spark-sql scala datastax-enterprise cassandra-2.1
person undefined_variable    schedule 06.10.2016    source источник

Ответы (2)


arrow_upward
8
arrow_downward

Ну вот :

scala> val rdd = sc.parallelize(
  Seq(
    ("53e5c3b0-8c83-11e", Array("b", "c")),
    ("53e5c3b0-8c83-11e1", Array("a", "b")),
    ("53e5c3b0-8c83-11e2", Array("a", "b", "c")),
    ("53e5c3b0-8c83-11e3", Array("a", "b", "c", "d"))))
// rdd: org.apache.spark.rdd.RDD[(String, Array[String])] = ParallelCollectionRDD[22] at parallelize at <console>:27

scala> rdd.flatMap(_._2).map((_, 1)).reduceByKey(_ + _)
// res11: org.apache.spark.rdd.RDD[(String, Int)] = ShuffledRDD[21] at reduceByKey at <console>:30

scala> rdd.flatMap(_._2).map((_,1)).reduceByKey(_ + _).collect
// res16: Array[(String, Int)] = Array((a,3), (b,4), (c,3), (d,1))

Это также на самом деле довольно просто с DataFrame API:

scala> val df = rdd.toDF("id", "data")
// res12: org.apache.spark.sql.DataFrame = ["id": string, "data": array<string>]

scala> df.select(explode($"data").as("value")).groupBy("value").count.show
// +-----+-----+
// |value|count|
// +-----+-----+
// |    d|    1|
// |    c|    3|
// |    b|    4|
// |    a|    3|
// +-----+-----+
person eliasah    schedule 07.10.2016
comment
Можете ли вы предоставить реализацию решения pyspark? - person JACK; 13.12.2019

arrow_upward
2
arrow_downward

Вам нужно что-то вроде этого (из примеров Apache Spark):

val textFile = sc.textFile("hdfs://...")
val counts = textFile
             .flatMap(line => line.split(" "))
             .map(word => (word, 1))
             .reduceByKey(_ + _)

Предполагая, что у вас уже есть пары, .reduceByKey(_ + _) вернет то, что вам нужно.

Вы также можете попробовать в искровой оболочке что-то вроде этого:

sc.parallelize(Array[Integer](1,1,1,2,2),3).map(x=>(x,1)).reduceByKey(_+_).foreach(println)
person Martin Brisiak    schedule 06.10.2016