Премахване на празни документи от DocumentTermMatrix в R topicmodels?

"Each row of the input matrix needs to contain at least one non-zero entry"

Грешката означава, че разредената матрица съдържа ред без записи (думи). една идея е да се изчисли сумата от думи по ред

rowTotals <- apply(dtm , 1, sum) #Find the sum of words in each Document
dtm.new   <- dtm[rowTotals> 0, ]           #remove all docs without words

Отговорът на agstudy работи чудесно, но използването му на бавен компютър се оказа леко проблематично.

tic()
row_total = apply(dtm, 1, sum)
dtm.new = dtm[row_total>0,]
toc()
4.859 sec elapsed

(това беше направено с 4000x15000 dtm)

Тесното място изглежда прилага sum() към разредена матрица.

Матрица-термин-документ, създадена от пакета tm, съдържа имената i и j, които са индекси за това къде са записите в разредената матрица. Ако dtm$i не съдържа определен индекс на ред p, тогава ред p е празен.

tic()
ui = unique(dtm$i)
dtm.new = dtm[ui,]
toc()
0.121 sec elapsed

ui съдържа всички ненулеви индекси и тъй като dtm$i вече е подреден, dtm.new ще бъде в същия ред като dtm. Увеличаването на производителността може да няма значение за по-малки матрици на термини на документи, но може да стане значително при по-големи матрици.

Това е само за уточняване на отговора, даден от agstudy.

Вместо да премахваме празните редове от dtm матрицата, можем да идентифицираме документите в нашия корпус с нулева дължина и да премахнем документите директно от корпуса, преди да изпълним втори dtm само с непразни документи.

Това е полезно за поддържане на съответствие 1:1 между dtm и корпуса.

empty.rows <- dtm[rowTotals == 0, ]$dimnames[1][[1]] corpus <- corpus[-as.numeric(empty.rows)]

Просто премахнете редките термини от DTM и всичко ще работи добре.

dtm <- DocumentTermMatrix(crude, sparse=TRUE)

Само малко допълнение към отговора на Дарио Лакан:

empty.rows <- dtm[rowTotals == 0, ]$dimnames[1][[1]]

ще събира id на записа, а не номерата на поръчките. Опитайте тази:

library(tm)
data("crude")
dtm <- DocumentTermMatrix(crude)
dtm[1, ]$dimnames[1][[1]] # return "127", not "1"

Ако изградите свой собствен корпус с последователна номерация, след почистване на данните някои документи могат да бъдат премахнати и номерацията също ще бъде нарушена. Така че е по-добре да използвате id директно:

corpus <- tm_filter(
  corpus,
  FUN = function(doc) !is.element(meta(doc)$id, empty.rows))
  # !( meta(doc)$id %in% emptyRows )
)

Имах колона в рамка с данни lt$title, която съдържаше низове. Нямах "празни" редове в тази колона, но все пак получих грешката:

Грешка в LDA(dtm, k = 20, control = list(seed = 813)): Всеки ред на входната матрица трябва да съдържа поне един ненулев запис

Някои от решенията по-горе не работеха за мен, тъй като трябваше да присъединя вектора от предвидени теми към първоначалната си рамка от данни. Така че премахването на ненулеви записи от матрицата на документа не беше опция.

Проблемът беше, че някои (много кратки) низове в lt$title съдържаха специални знаци, които не можеха да бъдат обработени от Corpus() и/или DocumentTermMatrix().

Моето решение беше да премахна "късите" низове (максимум една или две думи), които така или иначе не носят много информация.

# Clean up text data
lt$test=nchar(lt$title)
lt = lt[!lt$test<10,]
lt$test<-NULL

# Topic modeling
corpus <- Corpus(VectorSource(lt$title))
dtm = DocumentTermMatrix(corpus)
tm = LDA(dtm, k = 20, control = list(seed = 813))

# Add "topics" to original DF
lt$topic = topics(tm)