Как вычисляется значение α в языковой модели Katz Backoff?

В настоящее время я работаю над реализацией языковой модели сглаживания отсрочки katz. у меня есть некоторое замешательство по поводу рекурсивной отсрочки и моделей более низкого порядка расчета α. Предположим, что модель Каца для триграммы задана как

Pkatz(wi|wi-2wi-1)= P(w i|wi-2wi-1), если C(wi-2wi- 1wi) > 0
или α1P(wi|wi-1 ), если C(wi-2wi-1wi) = 0 и C(w i-1wi) > 0
или α2P(wi), иначе

Я также знаю, что α1 для случая биграммы рассчитывается на основе скидок, найденных в модели триграммы, но меня смущает то, как она вычисляет α2 для униграммы более низкого порядка. Используются ли скидки из триграммной модели или скидки из биграммной модели, если и триграмма, и биграмма не имеют доказательств?


nlp statistics probability n-gram
person riaz    schedule 28.03.2016    source источник
comment
Либо используется фиксированная скидка для всех уровней ngram, либо используется конкретная скидка для каждого уровня. Я не знаю точного ответа, но уверен, что вы можете найти его в статье Гудмана и Чена (стр. 6): u.cs.biu.ac.il/~yogo/courses/mt2013/papers/chen-goodman-99.pdf   -  person user3639557    schedule 29.03.2016
comment
Уважаемый пользователь 3639557, большое спасибо за ваши предложения. Я прочитал статью Чена и Гудмана, но я все еще не понимаю рекурсивную реализацию отсрочки Каца и расчет параметра α2. мне нужно конкретное решение для этого.   -  person riaz    schedule 30.03.2016

Ответы (1)


arrow_upward
0
arrow_downward

В основном альфа основана на «отсутствующей массе вероятности». Альфа должна убедиться, что сумма вероятности моделей ngram, включая отсрочку, равна 1.

Итак, на ваш вопрос, если у вас есть скидка в биграмме, некоторые вероятности будут отсутствовать. Я думаю, вам нужно использовать 1 - сумма вероятностей триграмм - альфа * сумма вероятностей биграмм, чтобы найти следующую альфу для униграммы.

person Jianxin Liu    schedule 11.10.2019