Интересувам се от групиране на документи и точно сега обмислям да използвам TF-IDF за това.
Ако не греша, TF-IDF се използва по-специално за оценка на уместността на документ при зададена заявка. Ако нямам конкретна заявка, как мога да приложа tf-idf към групиране?
За групиране на документи. най-добрият подход е да използвате алгоритъм за k-средства. Ако знаете колко вида документи имате, знаете какво е k.
За да работи върху документи:
а) кажете произволно изберете начални k документа.
b) Присвоете всеки документ на клъстер, като използвате минималното разстояние за документ с клъстера.
c) След като документите са присвоени на клъстера, направете K нови документа като клъстер, като вземете центроида на всеки клъстер.
Сега въпросът е
a) Как да изчислим разстоянието между 2 документа: Не е нищо друго освен косинусово сходство на условията на документи с първоначалния клъстер. Условията тук не са нищо друго освен TF-IDF (изчислени по-рано за всеки документ)
b) Centroid трябва да бъде: сбор от TF-IDF на даден член/бр. на документи. Направете това за всички възможни условия в клъстер. това ще ви даде други n-измерни документи.
Надявам се това да помогне!
Не точно: tf-idf ви дава уместността на даден термин в даден документ.
Така че можете перфектно да го използвате за вашето групиране чрез изчисляване близосткоето би било нещо подобно
proximity(document_i, document_j) = sum(tf_idf(t,i) * tf_idf(t,j))
за всеки термин t както в doc i, така и в doc j.
TF-IDF служи за различна цел; освен ако не възнамерявате да изобретите колелото, по-добре е да използвате инструмент като Carrot. Търсенето в Google за клъстериране на документи може да ви даде много алгоритми, ако искате да приложите такъв сами.
