Изследване на наивния Байес — математика
Теоремата на Байс е в основата на Наивния алгоритъм на Байс. Всъщност има цяла област на статистиката, наречена Байесова статистика, където теоремата на Бейс е ключов принцип.
Теорията, залегнала в основата на тези алгоритми, ще бъде разгледана в тази статия.
Да кажем, че имаме точка от данни x, можем да я представим във векторна форма като
съдържа n характеристики, всяка точка от данни може да принадлежи към един от класовете K. Така че, ако K е по-голямо от 2, имаме проблем с мултикласова класификация; ако K = 2, имаме проблем с двоична класификация.
Сега искаме да разберем
Това означава, че даден признак x, каква е вероятността признакът x да принадлежи към клас (C) k, означен с долен индекс. И така, можем да намерим тази вероятност за всички класове от 1 до k и да кажем, че точката принадлежи на този клас, който има максималната вероятност.
Сега, използвайки теоремата на Байс, условната вероятност може да бъде записана като:
В байесовската терминология имаме
Така че основната ни цел е да изчислим вероятностите за всеки клас и да определим кой има най-висока вероятност.
Нека имаме работа с двоична класификация (k=2 {положително или отрицателно}) и за дадена точка на заявка x искаме да предвидим нейния клас. Тогава класът, за който вероятността е максимална, е нашият прогнозиран клас.
За дадена точка на заявка x, ако вероятността за положителен клас е най-висока, тогава прогнозираният клас е положителен; ако е най-висок за отрицателен клас, тогава прогнозираният клас е отрицателен.
Сега, ако внимателно забележим знаменателя, той е един и същ за всички класове, както е показано на изображението по-горе, така че за определяне на максимума не се нуждаем от знаменателя , можем да се съсредоточим само върху числителя.
Числителната част е
Можем да напишем горното уравнение като
Сега, за дадена точка на заявка x това, което е вероятността за клас k, може да бъде написано като
Пропорционалността идва, защото сме пренебрегнали знаменателя.
тук току-що записахме x в неговите компоненти на n-характеристики/измерения.
Нашата задача се свеждаше до намирането на това
Тук ще използваме нещо, известно като верижно правило за условна вероятност, където използваме условната вероятност рекурсивно.
Ще приложим тази проста формула рекурсивно върху този термин
Нека проучим уравнението
Сега влизат в действие „наивните“ предположения за „условна независимост“: приемете, че всички характеристики в са „взаимно независими“,
При това предположение,
Сега условната независимост може да се приложи към всеки от термините
Пропорционалността идва, защото пренебрегваме знаменателя. Това е продукт на индивидуални условия заедно с вероятността на класа.
Ако искаме точен член, можем да премахнем пропорционалността и да въведем знаменателя
Сега за класификатор ще намерим вероятността за всеки от класовете и ще изберем този клас, който дава максимална вероятност
Това правило е известно като максимално апостериорно или правило за вземане на решение MAP, тъй като ние избираме argmax на максимума постериорно.
Ето че стигнахме до края на тази част. Надявам се да сте намерили статията за полезна.❤
Следвайте за още подобно съдържание.
Пляскайте, ако тази статия ви е харесала
Други мои статии:
