Модель LDA со свечой

У меня возникла проблема с определением распределения тем для нового документа. На самом деле, я использую Spark 2.2.0 и уже обучил модель LDA val lda = new LDA().setK(5).setMaxIterations(24) Как я могу вывести темы для нового документа?


machine-learning apache-spark scala lda
person Evgeniy    schedule 07.08.2017    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Только LocalLDAModel может оценивать новые документы, поэтому сначала необходимо преобразовать вашу модель в нее:

val localLda = lda.toLocal

затем для одного документа:

val document: Vector = ???
localLda.topicDistribution(document)

или несколько документов:

val documents: RDD[(Long, Vector)] = ???
localLda.topicDistributions(documents)
person jamborta    schedule 07.08.2017