Я заинтересован в кластеризации документов, и сейчас я рассматриваю возможность использования для этого TF-IDF.
Если я не ошибаюсь, TF-IDF особенно используется для оценки релевантности документа данному запросу. Если у меня нет определенного запроса, как я могу применить tf-idf для кластеризации?
Для кластеризации документов. лучше всего использовать алгоритм k-средних. Если вы знаете, сколько типов документов у вас есть, вы знаете, что такое k.
Чтобы заставить его работать с документами:
а) скажем, выбрать начальные k документов случайным образом.
b) Назначьте каждый документ кластеру, используя минимальное расстояние для документа с кластером.
c) После того, как документы назначены кластеру, создайте K новых документов в качестве кластера, взяв центр тяжести каждого кластера.
Теперь вопрос
а) Как рассчитать расстояние между двумя документами: Это не что иное, как косинусное сходство терминов документов с исходным кластером. Термины здесь не что иное, как TF-IDF(ранее рассчитываются для каждого документа)
б) Центроид должен быть: сумма TF-IDF данного термина/номер. документов. Сделайте это для всех возможных терминов в кластере. это даст вам еще один n-мерный документ.
Надеюсь, это поможет!
На самом деле это не совсем так: tf-idf дает вам релевантность термина в данном документе.
Таким образом, вы можете идеально использовать его для кластеризации путем вычисления близость, что-то вроде
proximity(document_i, document_j) = sum(tf_idf(t,i) * tf_idf(t,j))
для каждого термина t как в документе i, так и в документе j.
TF-IDF служит другой цели; если вы не собираетесь изобретать велосипед, вам лучше использовать такой инструмент, как Carrot. Поиск в Google кластеризации документов может дать вам множество алгоритмов, если вы захотите реализовать их самостоятельно.
