как изменить Wordnet Lemmatizer для леммитизации определенных слов?

Вы можете добавить собственный словарь для определенных слов, например pos_dict = {'breakfasted':'v', 'left':'a', 'taken':'v'}.

Передавая этот настроенный pos_dict вместе с token в функцию lemmitize, вы можете использовать лемматизатор для каждого токена с указанным вами тегом POS.

lemmatize(token, pos_dict.get(token, 'n')) передаст 'n' в качестве второго аргумента в качестве значения по умолчанию, если только токен не находится в ключах pos_dict. Вы можете изменить это значение по умолчанию на любое другое.

def lemmitize(document, pos_dict):
    return stemmer.stem(WordNetLemmatizer().lemmatize(document, pos_dict.get(document, 'n')))

def preprocess(document, pos_dict):
    output = []
    for token in gensim.utils.simple_preprocess(document):
        if token not in gensim.parsing.preprocessing.STOPWORDS and len(token) > 3:
            print("lemmitize: ", lemmitize(token, pos_dict))
            output.append(lemmitize(token, pos_dict))
    return output

Вы сделали распространенную ошибку между лемматизацией и стеммингом.

Вывод

Стемминг означает сокращение слова до его префикса. Это не связано с грамматикой, но связано с вашими собственными данными или используемым алгоритмом.

Наиболее часто используемый стеммер, Porter Stemmer, например, удаляет «морфологические и флективные окончания слов» (Porter Stemmer). Веб-сайт)

Таким образом, у таких слов, как готовить, готовить, готовить и печенье, удаляются морфологические / флективные окончания, и все они оканчиваются на «Готовить». Однако обратите внимание, что вы объединяете вместе существительное, глагол в настоящем продолженном времени, глагол в прошедшем времени и еще одно существительное, все вместе (обратите внимание, что печенье, например, хотя и является приготовленной едой, на самом деле не разделяют «иерархию» со словом «готовить» или «готовить»).

Когда вы делаете:

stemmer.stem(WordNetLemmatizer().lemmatize(document))

Вы создаете основу с помощью wordnet. Сначала вы лемматизируете слово, затем создаете его основу, удаляя «морфологические / флективные» слова. На самом деле вам даже не нужно лемматизировать, если вы делаете стемминг (это изменит что-то только с неправильными глаголами).

Лемматизация

Лемматизация, с другой стороны, использует лексическую информацию, чтобы привести слово к его «по умолчанию», не сгибаемой форме. Чтобы это работало, очень важно указать te POS (поскольку, как вы видели, Leaves — это лексема, представляющая как глагол, так и существительное).

Но как найти часть речи?

Сегодня есть несколько методов, но наиболее часто используемый основан на таблице поиска и окружающих словах — они вводятся в предварительно обученный алгоритм машинного обучения, который возвращает наиболее вероятный тег. Подробнее читайте в: https://medium.com/greyatom/learning-pos-tagged-chunking-in-nlp-85f7f811a8cb

Используя популярный пакет Python NLP под названием NLTK, вы можете сделать: (сначала вам нужно загрузить соответствующие пакеты)

import nltk

sentence = "I want to tag these!"
token = nltk.word_tokenize(sentence)
nltk.pos_tag(token)

Результат:

[('Я', 'PRP'), ('хочу', 'VBP'), ('to', 'TO'), ('метка', 'VB'), ('эти', 'DT') , ('!', '.')]

Еще одним популярным инструментом является Spacy, который работает следующим образом: (сначала вам необходимо загрузить языковую модель с моделью, обученной машинным обучением)

import spacy

import spacy
nlp = spacy.load('en')
doc = nlp('I want to tag these!')
print([(token.text, token.pos_) for token in doc])

Результат:

[('Я', 'ПРОН'), ('хочу', 'ГЛАГОЛ'), ('к', 'ЧАСТЬ'), ('метка', 'ГЛАГОЛ'), ('эти', 'DET') , ('!', 'ПУНКТ')]

Подробнее о POS-тегах Spacy можно прочитать здесь: https://spacy.io/usage/linguistic-features/

Затем я бы порекомендовал вам придерживаться лемматизации, так как это даст вам более тонкие варианты работы.