У меня возникли проблемы с пониманием функции правдоподобия для GDA, приведенной в примечаниях Эндрю Нг CS229.
l(φ,µ0,µ1,Σ) = log (произведение i на m) {p(x(i)|y(i);µ0,µ1,Σ)p(y(i);φ)}
Ссылка: http://cs229.stanford.edu/notes/cs229-notes2.pdf Страница 5.
Для линейной регрессии функция была произведением от i до m p(y(i)|x(i);theta), что имело для меня смысл. Почему здесь есть изменение, говорящее, что оно определяется как p(x(i)|y(i) и умножается на p(y(i);phi)? Заранее спасибо
Исходная формула на странице 5:
l(φ,µ0,µ1,Σ) = log <product from i to m> p(x_i, y_i;µ0,µ1,Σ,φ)
опустив пока параметры φ,µ0,µ1,Σ, которые можно упростить до
l = log <product> p(x_i, y_i)
используя цепное правило, вы можете преобразовать это либо в
l = log <product> p(x_i|y_i)p(y_i)
or
l = log <product> p(y_i|x_i)p(x_i).
В формуле на странице 5 φ перемещается в p(y_i), потому что от него зависит только p(y).
Вероятность начинается с совместного распределения вероятностей p(x,y) вместо условного распределения вероятностей p(y|x), поэтому GDA называется генеративной моделью (модели от x до y и от y до x), а логистическая регрессия считается дискриминационной моделью (модели от от х до у, в одну сторону). Оба имеют свои преимущества и недостатки. Там, кажется, есть глава об этом ниже.
