В областта на машинното обучение разбирането и използването на p-стойността е съществена част от прогнозирането на успеха или неуспеха на даден алгоритъм. Разбирането на това статистическо измерване може да ви помогне да станете по-компетентни с вашите ML модели и да интерпретирате данните, които произвеждат. В тази публикация в блога разглеждаме по-отблизо какво представлява p-стойността и обсъждаме как най-добре да я използвате във вашите ML проекти.

Каква е P-стойността?

P-стойността е статистическа мярка, която ви помага да разберете значимостта на вашите резултати. Известен е също като стойност на вероятността или пределна значимост. С прости думи, p-стойността е вероятността да получите вашите резултати случайно, като се има предвид, че нулевата хипотеза е вярна.

Нулевата хипотеза обикновено е, че нищо интересно не се случва; така че ако вашите резултати са „статистически значими“, това означава, че вероятно не се дължат на случайност. P-стойността ви казва колко силно е това доказателство.

Ниската p-стойност (обикновено ≤ 0,05) показва убедителни доказателства срещу нулевата хипотеза, така че можете да отхвърлите нулевата хипотеза. Високата p-стойност (› 0,05) показва слаби доказателства срещу нулевата хипотеза, така че не можете да отхвърлите нулевата хипотеза.

Как да тълкувам p-стойност?

Тълкуването на p-стойността зависи от:

(1) какъв беше вашият изследователски въпрос; и

(2) дали сте посочили едностранен или двустранен тест във вашия статистически анализ

Произход и история на P-стойността

Произходът на P-стойностите може да бъде проследен до ранната работа върху статистическите изводи от Роналд Фишър, един от пионерите на статистиката (Fisher 1925). Съвременната формулировка на P-стойностите е разработена от Jerzy Neyman и Egon Pearson в тяхната класическа статия за статистически тестове (Neyman and Pearson 1933).

Как да изчислим P-стойност?

За да изчислите p-стойност, първо трябва да знаете нулевата хипотеза. Нулевата хипотеза е предположението по подразбиране, че няма връзка между двете тествани променливи. Алтернативната хипотеза е противоположна на нулевата хипотеза; в този случай би било, че ИМА връзка между двете тествани променливи.

След като определите коя хипотеза тествате, трябва да изчислите вероятността да получите наблюдаваните резултати, като приемем, че нулевата хипотеза е вярна. Тази вероятност се нарича p-стойност. Колкото по-ниска е p-стойността, толкова повече доказателства имате срещу нулевата хипотеза.

Има много начини за изчисляване на p-стойност, но ние ще се съсредоточим върху два от най-често срещаните методи: използване на z-резултат или използване на t-резултат.

За да изчислитеz-резултат, използвайте следната формула:

z = (x — μ) / σ

къдетоx е вашият наблюдаван резултат, μ е средната стойност на всички резултати при нулевата хипотеза и σ е стандартното отклонение на всички резултати.

Видове тестове, използвани в машинното обучение с P стойност

Има различни тестове, които могат да се използват при работа с p-стойността в машинното обучение. Някои от най-често срещаните тестове включват:

  • T-тест: Това е тест, който се използва за сравняване на две групи данни. T-тестът може да се използва, за да се определи дали има значителна разлика между двете групи.
  • ANOVA: Този тест се използва за сравняване на три или повече групи от данни. ANOVA може да се използва, за да се определи дали има значителна разлика между групите.
  • Хи-квадрат тест: Този тест се използва за сравняване на две категорични променливи. Тестът хи-квадрат може да се използва, за да се определи дали има връзка между двете променливи.

Тълкуване на резултатите с помощта на P-стойността в машинното обучение.

P стойността или изчислената вероятност е статистическа мярка, която ни помага да определим дали нашите резултати са значими. За да разберете P стойността.

С прости думи, ако тестваме дали ново лекарство е ефективно или не, нулевата хипотеза би била, че новото лекарство не е по-различно от плацебо.

В машинното обучение ние използваме P стойности, за да ни помогнат да определим кои характеристики са важни при прогнозирането на нашата целева променлива. Например, да кажем, че се опитваме да предскажем дали даден ученик ще издържи или не издържи последния си изпит. Можем да разгледаме няколко различни характеристики като възраст, пол, среден успех и т.н., за да се опитаме да предвидим тази целева променлива.

Предимства и недостатъци на използването на P-стойността за машинно обучение.

P-стойностите са статистическа мярка, която определя количествено силата на доказателствата за или против дадена хипотеза. В машинното обучение те могат да се използват за сравняване на различни модели или набори от данни и избор на най-добрия. Но какви са предимствата и недостатъците от използването им?

Положителната страна е, че P стойностите могат да ви помогнат да избирате между различни модели, като предоставят количествен начин за сравняване на тяхното представяне. Те могат също така да се използват, за да се определи колко вероятно е моделът да се обобщи от данните за обучение към нови, невиждани данни. От друга страна, стойностите на P могат да бъдат изтълкувани погрешно и не винаги дават точна представа за това колко добре се представя даден модел.

Като цяло има както предимства, така и недостатъци при използването на P стойности в машинното обучение. Когато се използват правилно, те могат да бъдат полезен инструмент при вземането на решения за това кой модел да използвате. Но е важно да разберете техните ограничения и да не разчитате на тях твърде много, когато правите прогнози за данни от реалния свят.