Ето някои от най-често срещаните показатели за ефективност за машинно обучение:

  • Матрица на объркване: Матрицата на объркване е таблица, която обобщава ефективността на модел на машинно обучение. Показва броя на истинските положителни, фалшивите положителни, истинските отрицателни и фалшивите отрицателни резултати.
  • Истински положителен (TP): Моделът правилно предвижда, че входът е положителен.
  • Фалшиво положително (FP): Моделът неправилно прогнозира, че входът е положителен.
  • Истински отрицателен (TN): Моделът правилно предвижда, че входът е отрицателен.
  • Фалшиво отрицателен (FN): Моделът неправилно предвижда, че входът е отрицателен.
  • Точност: Точността е частта от прогнозите, които моделът получава правилни. Изчислява се, като броят на правилните прогнози се раздели на общия брой прогнози.
  • Припомняне: Припомнянето е частта от положителни случаи, които моделът прогнозира правилно. Изчислява се чрез разделяне на броя на истинските положителни резултати на сумата от истинските положителни и фалшивите отрицателни резултати.
  • Прецизност: Прецизността е частта от предвидените положителни случаи, които всъщност са положителни. Изчислява се чрез разделяне на броя на истинските положителни резултати на сумата от истинските положителни и фалшивите положителни резултати.
  • Резултат F1: Резултатът F1 е мярка както за прецизност, така и за припомняне. Изчислява се чрез вземане на хармоничната средна стойност на точността и припомнянето.
  • ROC/AUC крива: ROC кривата е графична диаграма на истинската положителна честота (TPR) срещу фалшиво положителна скорост (FPR). TPR е съотношението на истинските положителни резултати към сумата от истинските положителни и фалшивите отрицателни резултати. FPR е съотношението на фалшивите положителни резултати към сумата от фалшивите положителни и истинските отрицателни резултати.

Конкретният показател за ефективност, който е най-подходящ за конкретен модел на машинно обучение, ще зависи от конкретния проблем, за решаването на който моделът се използва. Например, ако моделът се използва за класифициране на изображения, тогава точността, прецизността и показателите за припомняне ще бъдат уместни. Въпреки това, ако моделът се използва за прогнозиране на вероятността клиентът да се оттегли, тогава кривата ROC/AUC ще бъде най-подходящият показател.

Ето няколко примера за това как могат да се използват тези показатели:

  • Матрицата на объркването може да се използва за идентифициране на видовете грешки, които моделът на машинно обучение прави. Например, ако моделът неправилно класифицира голям брой положителни случаи като отрицателни, тогава това може да означава, че моделът трябва да бъде настроен, за да бъде по-чувствителен към положителни случаи.
  • Показателят за точност може да се използва, за да получите обща представа за това колко добре се представя моделът на машинно обучение. Въпреки това е важно да се отбележи, че точността може да бъде подвеждаща, ако класовете са небалансирани. Например, ако модел се използва за класифициране на изображения на котки и кучета и има 10 пъти повече изображения на котки, отколкото на кучета, тогава моделът може да постигне точност от 90% просто като предвиди, че всички изображения са котки.
  • Показателите за прецизност и припомняне могат да се използват за получаване на по-подробно разбиране за това колко добре се представя моделът на машинно обучение за всеки клас. Например, ако се използва модел, за да се предскаже дали клиентът ще се оттегли, тогава показателят за прецизност би бил по-важен от показателя за отзоваване, ако компанията иска да сведе до минимум броя на фалшивите положителни резултати.
  • Резултатът F1 е претеглена средна стойност на показателите за прецизност и припомняне. Често се използва като единична метрика за обобщаване на ефективността на модел на машинно обучение.
  • Кривата ROC/AUC може да се използва за сравняване на производителността на различни модели за машинно обучение. Може също да се използва за избор на прага за модел, който минимизира разходите за фалшиви положителни и фалшиви отрицателни резултати.