Един от най-разпространените и бързи начини за оценка на модел

Има множество начини да оцените колко добре се представя моделът на машинно обучение. Тази статия обаче ще разгледа един от най-разпространените и най-бързи методи за оценка на ефективността на модел, известен като Precision and Recall.

Класифициране на резултатите от модела

Преди да навлезем в прецизността и припомнянето, първо трябва да разберем какво означават класификациите на истински положителен, истински отрицателен, фалшиво положителен и фалшиво отрицателен резултат.

За да разберем по-добре тези класификации на резултатите, да кажем, че изграждаме класификационен модел, за да определим дали пациентът има рак. В този случай, тъй като целта на нашия модел се опитва да предскаже дали пациентът има рак, положителният резултат би бил, ако пациентът има рак, и разбираемо, отрицателният резултат би било, ако пациентът няма рак.

Истински позитиви

Истински положителни резултати (TP) са положителни резултати, които моделът е предвидил правилно.

В нашия пример това означава, че пациентите, за които е предсказано, че имат рак от модела, наистина имат рак.

Истински негативи

Истинските отрицателни резултати (TN) са отрицателни резултати,които моделът е предвидил правилно.

В нашия пример това означава, че пациентите, за които е прогнозирано, че са здрави, наистина нямат рак.

Фалшиви положителни резултати

Фалшивите положителни резултати (FP) са положителни резултати, които моделът е предвидил неправилно. Това също е известно като грешка тип I.

В нашия пример това означава, че пациентите, за които е било предсказано, че имат рак, всъщност са били здрави.

Фалшиви отрицания

Фалшивите отрицателни резултати (FN) са отрицателни резултати, които моделът е предвидил неправилно. Това също е известно като грешка тип II.

В нашия пример това означава, че пациентите, които са били прогнозирани като здрави, всъщност са имали рак.

Прецизност срещу припомняне

Въпреки че стойностите на TP, TN, FP и FN могат да дадат на специалиста по данни някаква индикация за това как се представя моделът, трудно е да се оцени числено всяка стойност поотделно, без да се позовават на другите стойности. Ето защо специалистите по данни често използват Precision и Recall за оценка на модели.

Прецизност

Прецизността е процентът на резултатите, които са положителни (или уместни). Това се изчислява по следния начин:

В нашия пример прецизността би била съотношението на броя на пациентите, които действително са имали рак и за които е установено, че имат рак спрямо броя на пациентите, за които е било прогнозирано, че имат рак.

Припомням си

Припомнянето е процентът на действителните положителни резултати, които са правилно идентифицирани. Това се изчислява по следния начин:

В нашия пример припомнянето ще бъде съотношението на броя на пациентите, които действително са имали рак и за които е било прогнозирано, че ще имат рак спрямо общия брой пациенти, които действително са имали рак.

Прецизност и припомняне

В идеалния случай един добре работещ модел трябва да произвежда както високи стойности на прецизност, така и високи стойности на припомняне.

Наличието на висока точностно ниско припомняне означава, че въпреки че моделът е добър в прогнозирането на положителния клас, той открива само малка част от общия брой положителни резултати. В нашия пример това би означавало, че пациентите, за които е било предсказано, че имат рак, най-вероятно имат рак, но от всички пациенти, които имат рак, моделът прогнозира само малка част от тях да имат рак. Следователно моделът е с недостатъчно прогнозиране.

Наличието на ниска прецизност, но високо припомняне означава, че въпреки че моделът правилно е предвидил повечето от положителните случаи, той е предвидил и много отрицателни като положителни. В нашия пример това би означавало, че от всички пациенти, които действително имат рак, повечето от тях са правилно предсказани, че имат рак, също така имаше много пациенти, които нямаха рак, за които моделът прогнозира, че имат рак. Следователно моделът есвръхпредсказващ.

Заключение

Това е кратко въведение в прост метод за оценка на модели. Тези стойности наистина се събират и изчисляват бързо и могат да дадат приблизителна оценка за това колко добре се представя даден модел.