Дерево вероятностей для предложений в nltk, использующих как упреждающие, так и ретроспективные зависимости

Если я правильно понимаю ваш вопрос, вы ищете способ предсказать вероятность слова с учетом окружающего его контекста (не только обратного контекста, но и прямого контекста). Один быстрый хак для вашей цели — обучить две разные языковые модели. Один справа налево, а другой слева направо, а затем вероятность слова с учетом его контекста будет нормированной суммой прямого и обратного контекстов.

Расширение вашего кода:

from collections import defaultdict
import nltk
from nltk.tokenize import word_tokenize
import numpy as np


ngram = defaultdict(lambda: defaultdict(int))
ngram_rev = defaultdict(lambda: defaultdict(int)) #reversed n-grams
corpus = "The cat is cute. He jumps and he is happy."

for sentence in nltk.sent_tokenize(corpus):
    tokens = map(str.lower, nltk.word_tokenize(sentence))
    for token, next_token in zip(tokens, tokens[1:]):
        ngram[token][next_token] += 1
    for token, rev_token in zip(tokens[1:], tokens):
        ngram_rev[token][rev_token] += 1
for token in ngram:
    total = np.log(np.sum(ngram[token].values()))
    total_rev = np.log(np.sum(ngram_rev[token].values()))
    ngram[token] = {nxt: np.log(v) - total 
                    for nxt, v in ngram[token].items()}
    ngram_rev[token] = {prv: np.log(v) - total_rev 
                    for prv, v in ngram_rev[token].items()}

Теперь контекст находится как в ngram, так и в ngram_rev, которые соответственно содержат прямой и обратный контексты.

Вы также должны учитывать сглаживание. То есть, если данная фраза не встречается в вашем тренировочном корпусе, вы просто получите нулевые вероятности. Чтобы избежать этого, существует множество методов сглаживания, самым простым из которых является надстройка. сглаживание.

Обычный алгоритм ngram традиционно работает только с предшествующим контекстом, и на то есть веская причина: тегировщик биграмм принимает решения, рассматривая теги последних двух слов плюс текущее слово. Таким образом, если вы не пометите в два прохода, тег следующего слова еще не известен. Но вас интересуют нграмы слов, а не нграмы тегов, так что ничто не удерживает вас от обучения энграм-теггеров, где нграммы состоят из слов с обеих сторон. И вы действительно можете легко сделать это с помощью NLTK.

Теггеры нграмм NLTK делают нграммы тегов слева; но вы можете легко создать свой собственный тегировщик из их абстрактного базового класса ContextTagger:

import nltk
from nltk.tag import ContextTagger

class TwoSidedTagger(ContextTagger):
        left = 2
        right = 1

    def context(self, tokens, index, history):
        left = self.left
        right = self.right
        tokens = tuple(t.lower() for t in tokens)
        if index < left:
            tokens = ("<start>",) * left + tokens
            index += left
        if index + right >= len(tokens):
            tokens = tokens + ("<end>",) * right

        return tokens[index-left:index+right+1]

Это определяет теггер тетраграммы (2+1+1), где текущее слово является третьим в энграмме, а не последним, как обычно. Затем вы можете инициализировать и обучить тегировщик так же, как обычные тегировщики ngram (см. главу 5 книги NLTK, особенно разделы 5.4ff). Давайте сначала посмотрим, как вы создадите тегировщик частей речи, используя часть корпуса Брауна в качестве обучающих данных:

data = list(nltk.corpus.brown.tagged_sents(categories="news"))
train_sents = data[400:]
test_sents = data[:400]
twosidedtagger = TwoSidedTagger({}, backoff=nltk.DefaultTagger('NN'))
twosidedtagger._train(train_sents)

Как и все тегировщики ngram в NLTK, этот будет делегировать полномочия тегировщику отсрочки, если его попросят пометить ngram, который он не видел во время обучения. Для простоты я использовал простой тегировщик по умолчанию в качестве резервного тегера, но вам, вероятно, понадобится что-то более мощное (см. главу NLTK еще раз).

Затем вы можете использовать свой тегировщик, чтобы пометить новый текст или оценить его с уже помеченным набором тестов:

>>> print(twosidedtagger.tag("There were dogs everywhere .".split()))
>>> print(twosidedtagger.evaluate(test_sents))

Предсказывающие слова:

Вышеупомянутый тегировщик присваивает тег POS, учитывая близлежащие слова; но ваша цель — предсказать само слово, поэтому вам нужны другие обучающие данные и другой теггер по умолчанию. API NLTK ожидает обучающие данные в форме (word, LABEL), где LABEL — это значение, которое вы хотите сгенерировать. В вашем случае LABEL - это просто само текущее слово; поэтому сделайте свои тренировочные данные следующим образом:

data = [ zip(s,s) for s in nltk.corpus.brown.sents(categories="news") ]
train_sents = data[400:]
test_sents = data[:400]
twosidedtagger = TwoSidedTagger({}, backoff=nltk.DefaultTagger('the')) # most common word
twosidedtagger._train(train_sents)

Целевое слово не имеет смысла появляться в «контекстной» нграмме, поэтому вам также следует изменить метод context(), чтобы возвращаемая нграмма не включала его:

    def context(self, tokens, index, history):
        ...
        return tokens[index-left:index] + tokens[index+1:index+right+1]

Этот теггер использует триграммы, состоящие из двух слов слева и одного справа от текущего слова.

С помощью этих модификаций вы создадите тегировщик, который выводит наиболее вероятное слово в любой позиции. Попробуйте и как вам это нравится.

Прогноз:

Я ожидаю, что вам понадобится огромное количество обучающих данных, прежде чем вы сможете добиться достойной производительности. Проблема в том, что теггеры ngram могут предлагать тег только для контекстов, которые они видели во время обучения.

Чтобы создать обобщающий тегировщик, рассмотрите возможность использования NLTK для обучения «последовательного классификатора». Вы можете использовать любые функции, которые хотите, включая слова до и после — конечно, насколько хорошо это будет работать, это ваша проблема. API-интерфейс классификатора NLTK аналогичен API-интерфейсу ContextTagger, но функция контекста (также известная как функция признаков) возвращает словарь, а не кортеж. Опять же, см. книгу NLTK и исходный код.