spark rdd, как свести ключ к паре массивов (значений) [дубликаты]

У меня есть парный парк rdd (ключ, массив (значение1, значение2, значение3.....)). какое заявление scala я должен написать? Как я мог сгладить этот rdd и создать новый rdd: (key, value1), (key, value2), (key, value3)....


flatmap apache-spark rdd
person sickcat    schedule 31.03.2017    source источник
comment
наверное просто rdd.flatMapValues(x=>x)   -  person mtoto    schedule 31.03.2017

Ответы (1)


arrow_upward
1
arrow_downward

Как сказал @moto, это просто

rdd.flatMapValues(v => v)

Более подробный, но, возможно, более читаемый вариант:

rdd.flatMap {
   case (key, values) => values.map(v => key -> v)
}
person Vidya    schedule 31.03.2017