Практически подход за избор на показател за оценка за вашия модел, описан с прости думи.
Нека ви задам няколко прости въпроса. Отговори им.
Много тежки ли са последствията от откриването на фалшиви отрицателни резултати?
Ако отговорът е да, изберете Извикване.
Ако не попитайте отново,
Много тежки ли са последствията от откриването на фалшиви положителни резултати?
Сега, ако въпросът на този отговор е „да“, изберете Прецизност.
Добре, нека се потопим малко, като вземем примери.
Прогнозиране дали пациентът има или не тумор.
В този пример,
- Твърди се, че откриването на фалшиви отрицателни резултати се случва, когато пациентът има тумор, НО моделът не го е открил. Сега този случай има много сериозни последствия. Тъй като не открихме тумора, лекарят няма да проведе необходимото лечение. Фатално.
- Но фалшивите положителни резултати всъщност не са наша грижа. Защо? Да речем, моделът откри тумор, който в действителност не съществува. Пациентът все още ще бъде в безопасност, тъй като друга диагноза може да разкрие, че прогнозата е неправилна и не е необходимо повече лечение. Няма проблем.
Ето защо отидете на Recall.
Припомняне / Процент на истинска положителност / Чувствителност / Вероятност за откриване
Каква част от всички положителни случаи класификаторът идентифицира правилно като положителни.
Класифициране на добър кандидат за работа
В този пример,
- Откриването на фалшив положителен резултат се случва, когато моделът класифицира не толкова добър кандидат като абсолютно перфектен за работната позиция. Това има много големи последици за набиращия персонал, тъй като увеличава времето за завършване на процеса на набиране.
- Кандидати, които са достатъчно добри за позицията, но са класифицирани като неспособни, т.е. фалшиви отрицателни резултати, може да не успеят да достигнат до интервюто. Но ако погледнем от гледна точка на Recruitor, това ще спести време.
Тук ще отидем с Precision.
Прецизност
За каква част от положителните прогнози са правилни.
В последния пример може да си помислите, че може да е неправилно да се отхвърлят напълно добри кандидати. Да, прав си. Но от гледна точка на набиращия персонал времето е ценно за него/нея и не оправдава интервюирането на лош кандидат.
Е, това е мястото, където стигаме до компромис между прецизност/извикване. Обикновено предпочитаме да използваме прецизност, когато крайният резултат трябва да се използва от крайни потребители или приложения, изправени пред клиенти (тъй като те помнят неуспехите).
Компромис точност/извикване
Както видяхме по-рано, всъщност се нуждаехме и от прецизност, и от припомняне, за да бъдем високи. Не искаме да губим време в интервюиране на неспособен кандидат, НО в същото време да оставим напълно приемлив или може да бъде Перфектен кандидат.
За съжаление не можете да имате и двете; увеличаването на точността намалява припомнянето и обратно. Това се нарича компромис Прецизност/извикване.
Графикът на извикване и прецизности спрямо прагове ви дава начин да изберете добър праг за компромис на прецизност/извикване.
В случай, че се чудите как съм начертал това, ето кода:
Сега можете да дадете само този праг, за да дадете вашата прогноза, като това:
Друг начин за избор на добър компромис между точност и припомняне е да начертаете точността директно спрямо припомнянето.
И отново, можете да генерирате тази графика по този начин,
След като получим праг (върнат от функцията), прогнозите се правят по същия начин, както е показано в кодовия блок по-горе.
Кой съм аз ?
Аз съм Анураг Дхадсе ✌. Учащ цял живот и запален по машинното обучение. Расте всеки ден.
Разбийте бутона за пляскане, ако харесвате тази публикация! Следвайте ме, докато споделям Моето пътуване и можете да се свържете с мен вTwitter | LinkedIn | Githubсъщо.
