Удалить пустые документы из DocumentTermMatrix в R topicmodels?

"Each row of the input matrix needs to contain at least one non-zero entry"

Ошибка означает, что разреженная матрица содержит строку без записей (слов). одна идея - вычислить сумму слов по строкам

rowTotals <- apply(dtm , 1, sum) #Find the sum of words in each Document
dtm.new   <- dtm[rowTotals> 0, ]           #remove all docs without words

Ответ agstudy отлично работает, но его использование на медленном компьютере оказалось несколько проблематичным.

tic()
row_total = apply(dtm, 1, sum)
dtm.new = dtm[row_total>0,]
toc()
4.859 sec elapsed

(это было сделано с dtm 4000x15000)

Похоже, что узким местом является применение sum() к разреженной матрице.

Матрица-термин-документ, созданная пакетом tm, содержит имена i и j, которые являются индексами для записей в разреженной матрице. Если dtm$i не содержит определенного индекса строки p, то строка p пуста.

tic()
ui = unique(dtm$i)
dtm.new = dtm[ui,]
toc()
0.121 sec elapsed

ui содержит все ненулевые индексы, и поскольку dtm$i уже заказан, dtm.new будет в том же порядке, что и dtm. Прирост производительности может не иметь значения для меньших матриц терминов документов, но может стать значительным для больших матриц.

Это просто для уточнения ответа, данного agstudy.

Вместо того, чтобы удалять пустые строки из матрицы dtm, мы можем идентифицировать документы в нашем корпусе, которые имеют нулевую длину, и удалять документы непосредственно из корпуса перед выполнением второго dtm только с непустыми документами.

Это полезно для сохранения соответствия 1: 1 между dtm и корпусом.

empty.rows <- dtm[rowTotals == 0, ]$dimnames[1][[1]] corpus <- corpus[-as.numeric(empty.rows)]

Просто удалите редкие термины из DTM, и все будет хорошо.

dtm <- DocumentTermMatrix(crude, sparse=TRUE)

Небольшое дополнение к ответу Дарио Лакана:

empty.rows <- dtm[rowTotals == 0, ]$dimnames[1][[1]]

будет собирать id записей, а не номера заказов. Попробуй это:

library(tm)
data("crude")
dtm <- DocumentTermMatrix(crude)
dtm[1, ]$dimnames[1][[1]] # return "127", not "1"

Если вы построите собственный корпус с последовательной нумерацией, то после очистки данных некоторые документы могут быть удалены, и нумерация также будет нарушена. Так что лучше использовать id напрямую:

corpus <- tm_filter(
  corpus,
  FUN = function(doc) !is.element(meta(doc)$id, empty.rows))
  # !( meta(doc)$id %in% emptyRows )
)

У меня был столбец во фрейме данных lt$title, который содержал строки. В этом столбце не было "пустых" строк, но ошибка все равно была:

Ошибка в LDA (dtm, k = 20, control = list (seed = 813)): каждая строка входной матрицы должна содержать хотя бы одну ненулевую запись

Некоторые из приведенных выше решений не сработали для меня, так как мне нужно было присоединить вектор предсказанных тем к моему исходному фрейму данных. Таким образом, удаление ненулевых записей из матрицы терминов документа не было вариантом.

Проблема заключалась в том, что некоторые (очень короткие) строки в lt$title содержали специальные символы, которые не могли быть обработаны Corpus() и / или DocumentTermMatrix().

Мое решение заключалось в том, чтобы удалить «короткие» строки (максимум одно или два слова), которые в любом случае не содержат много информации.

# Clean up text data
lt$test=nchar(lt$title)
lt = lt[!lt$test<10,]
lt$test<-NULL

# Topic modeling
corpus <- Corpus(VectorSource(lt$title))
dtm = DocumentTermMatrix(corpus)
tm = LDA(dtm, k = 20, control = list(seed = 813))

# Add "topics" to original DF
lt$topic = topics(tm)