Когато разработваме ML модел, става важно да измерим ефективността на модела. След като измерите неговата производителност и преустроите модела, за да го подобрите, повторете процеса, докато стане все по-добър и по-добър.

Тук метрики ни помагат да проследим ефективността на нашия модел. за да можем да знаем дали промяната, направена в нашия модел, го подобрява или не.

Метрики за регресия

  • Средна абсолютна грешка (MEA)
  • Средна квадратна грешка (MSE)
  • Средноквадратична грешка (RMSE)
  • Средноквадратична логаритмична грешка (RMSLE)
  • R-квадрат или R²
  • Коригиран R²

Средна абсолютна грешка (MAE):

Нарича се още „грешка L1“. Той изчислява средната стойност на абсолютната разлика между действителните и прогнозираните стойности. Той измерва само големината на грешката, а не нейната посока.

Стойността на MAE нараства линейно с увеличаване на грешките, а входните и изходните стойности имат една и съща единица.

Стойността на MAE е между 0 и безкрайност. където 0 показва модел с добро представяне, а по-високите стойности показват модел с лошо представяне.

Следва формулата за средна абсолютна грешка:

Тук истинската стойност е действителната стойност на точката от данни, а прогнозата е предвидената стойност на тази точка от данни. В MAE всички индивидуални грешки имат еднаква тежест.

В горната графика червените точки са отделни точки от данни, правата синя линия е прогнозирани стойности, а зелената вертикална линия е величината на разликата между действителната точка от данни и прогнозираната точка от данни.

Кога трябва да се използва MAE?

  • Използва се, защото е интуитивен и лесен за разбиране от заинтересованите страни.
  • MAE наказва по-голямата грешка.

Недостатък на MAE:

  • Както можете да видите от фиг. 2, графиката на MAE не е диференцируема при 0.

Средна квадратна грешка (MSE):

MSE е една от най-често срещаните функции за загуба, използвани за регресионни проблеми. Това е сумата от квадратната разлика между действителните и прогнозираните стойности.

Известно е още като L2 загуба. За разлика от MAE, стойността на MSE нараства експоненциално с увеличение на грешката.

Тук всички отделни грешки имат различни тегла. Поставянето на квадрат на грешката дава по-голямо тегло за отклонението (по-голямата грешка) и по-ниско тегло за по-малката грешка.

Следващата графика показва параболата. Тъй като стойността на MSE е квадратна, затова се нарича още квадратична загуба. Тъй като е парабола, тя има само един глобален минимум.

Предимства на MSE:

  • Тъй като има само един глобален минимум и няма локални минимуми, можем да го използваме в градиентно спускане.
  • Полезно е за справяне с отклонение, тъй като санкционира по-голяма грешка.

Недостатъци на MSE:

  • Ако нашият модел има една голяма грешка, стойността на грешката се увеличава. заради квадратурата.
  • MSE е зависим от мащаба.

Средноквадратична грешка (RMSE):

Това не е нищо повече от източник на MSE. Показва стандартното отклонение на грешките при прогнозиране (т.е. остатъци). Той ви казва как данните са разпръснати около най-подходящата линия.

Той също така санкционира по-големи грешки с висока тежест, но сравнително по-малко от MSE. Входните и изходните данни се съхраняват в едно и също устройство.

Предимства на RMSE:

  • Тъй като входните и изходните данни са в една и съща единица. Разбирането е много интуитивно.
  • Той е диференцируем, така че можем да използваме алгоритъм за оптимизация.

Недостатъци на RMSE:

  • Подобно на MSE, RMSE също зависи от мащаба.
  • Не е устойчив на отклонения.

Корен на квадратна логаритмична грешка (RMSLE):

Тук вземаме регистър на действителните и прогнозираните стойности, за да санкционираме грешките в прогнозите на големи стойности повече от по-малки стойности. Използва се при проблеми, при които целевата променлива имаизкривено разпределение или когато предвиждането на модела се използва в експоненциална скала. Не се влияе от мащаба на прогнозираните стойности.

Не санкционира големи грешки, дължащи се на дневника. Подценяванетосе наказва повече от надценяването.

Предимства на RMSLE:

  • Освен това е диференцируем, което е добре за алгоритъм за оптимизация.
  • Той е инвариантен на мащаба, което означава, че не се влияе от мащаба на прогнозираните стойности.

Недостатъци на RMSLE:

  • Има пристрастна дузпа, която дава по-голяма тежест на подценяването в сравнение с надценяването.

R-квадрат (R²):

Нарича се още „коефициент на определяне“ или „добро съответствие“. Остатъчната сума на квадратите (SSres) се сравнява с общата сума на квадратите (SStot). Той определя до каква степен дисперсията на независимите променливи обяснява дисперсията на зависимата променлива.

Той или се увеличава, или не се променя, но никога не намалява, когато се добавят нови данни. което означава, че не сме наказани за маловажна функция. всеки път, когато добавяме данни към него. тя се увеличава, дори ако променливата е незначима.

Предполага се, че всяка независима променлива обяснява вариациите в зависимата променлива.

Стойността на R2 варира от 0–1. където 1 показва, че независимите променливи обясняват 100% от вариацията в целевата променлива, а 0 показва, че независимите променливи не обясняват нито една от вариациите в целевата променлива.

Недостатък на R2:

  • Както казах по-рано, когато нова променлива се добави към R2, тя или се увеличава, или не се променя, без да се открие значението на новодобавената променлива. което означава, че незначителна променлива също ще бъде добавена към стойността на R2.

Коригиран R²(adj-R²):

Той измерва дела на вариациите, обяснени само от тези независими променливи, които наистина помагат да се обясни зависимата променлива.

За разлика от R2, коригираният R2 ви наказва за добавяне на такива независими променливи, които не помагат при прогнозирането на зависимата променлива. Коригираният R² е ≤ R².

Където,

  • N = брой наблюдения
  • p = брой на независима променлива.

Забележка: R-квадрат има много недостатъци, които трябва да имате предвид, преди да го използвате. Никога не го използвам за сравняване на модели или за определяне на годността. Затова ви предлагам да преразгледате използването му и ако искате да го използвате, прочетете тези статии: „8 съвета за тълкуване на R-квадрат,“, написани от Тим ​​Бок, и „R-квадрат безполезен ли е?“ написано от Клей Форд.

Благодарим ви, че отделихте време да прочетете статията. Ако статията ви е харесала, натиснете бутона „ръкопляскане“ и поддържайте връзка с мен, като ме следвате в Linkedin, GitHub, и Среден.