как сделать обновление в таблице в spark-SQL?

Я хочу обновить одну строку в таблице, которая присутствует в spark-SQL, так как я могу это сделать. например, мой первоначальный запрос: Обновление от студенческих оценок = 56, где id = 1;

Как это сделать в spark-SQL? Поскольку обновление не поддерживается в spark-SQL. пожалуйста, помогите в этом.


person Swapnil Dixit    schedule 14.01.2016    source источник


Ответы (1)


Фреймы данных Spark SQL по своей сути являются RDD, и они неизменяемы, что означает, что вы не можете их изменить (обновить). Однако вы создаете новый кадр данных Spark SQL, применяя определяемую пользователем функцию (UDF) к исходному кадру данных примерно так:

val my_udf=udf{(given_id:Int, given_marks:Int)=> if(given_id==5) 5 else given_marks}

val new_df= original_df.select(id,my_udf(id,marks))
person rh979    schedule 14.12.2016