Когда мы разрабатываем модель ML, становится важно измерить производительность модели. Измерив его производительность и перестроив модель для ее улучшения, повторяйте процесс, пока он не станет все лучше и лучше.

Здесь показатели помогают нам отслеживать эффективность нашей модели. чтобы мы могли знать, улучшают ли изменения, внесенные в нашу модель, ее или нет.

Метрики для регрессии

  • Средняя абсолютная ошибка (MEA)
  • Среднеквадратическая ошибка (MSE)
  • Среднеквадратичная ошибка (RMSE)
  • Среднеквадратичная ошибка журнала (RMSLE)
  • R-квадрат или R²
  • Скорректированный R²

Средняя абсолютная ошибка (MAE):

Ее также называют «ошибкой L1». Он вычисляет среднее значение абсолютной разницы между фактическими и прогнозируемыми значениями. Он измеряет только величину ошибки, а не ее направление.

Значение MAE линейно увеличивается с увеличением ошибок, а входные и выходные значения имеют одинаковые единицы измерения.

Значение MAE находится в диапазоне от 0 до бесконечности. где 0 указывает на хорошую модель, а более высокие значения указывают на плохую модель.

Ниже приведена формула для средней абсолютной ошибки:

Здесь истинное значение — это фактическое значение точки данных, а предсказание — это предсказанное значение этой точки данных. В MAE все отдельные ошибки имеют одинаковый вес.

На приведенном выше графике красные точки — это отдельные точки данных, прямая синяя линия — прогнозируемые значения, а зеленая вертикальная линия — величина разницы между фактической точкой данных и прогнозируемой точкой данных.

Когда следует использовать MAE?

  • Он используется, потому что он интуитивно понятен и прост для понимания заинтересованными сторонами.
  • MAE наказывает большую ошибку.

Недостаток MAE:

  • Как видно из рис. 2, график МАЭ не дифференцируем в 0.

Среднеквадратическая ошибка (MSE):

MSE — одна из наиболее распространенных функций потерь, используемых для задач регрессии. Это сумма квадратов разницы между фактическими и прогнозируемыми значениями.

Это также известно как потеря L2. В отличие от MAE, значение MSE увеличивается экспоненциально с увеличением ошибки.

Здесь все отдельные ошибки имеют разные веса. Возведение ошибки в квадрат дает более высокий вес для выброса (большая ошибка) и меньший вес для меньшей ошибки.

На следующем графике показана парабола. Поскольку значение MSE является квадратичным, его также называют квадратичными потерями. Поскольку это парабола, она имеет только один глобальный минимум.

Преимущества MSE:

  • Поскольку он имеет только один глобальный минимум и не имеет локальных минимумов, мы можем использовать его в градиентном спуске.
  • Это полезно для работы с выбросом, так как наказывает большую ошибку.

Недостатки MSE:

  • Если наша модель имеет одну большую ошибку, значение ошибки увеличивается. из-за возведения в квадрат.
  • MSE зависит от масштаба.

Среднеквадратическая ошибка (RMSE):

Это не что иное, как источник MSE. Он показывает стандартное отклонение ошибок прогнозирования (т. е. остатков). Он сообщает вам, как данные разбросаны по линии наилучшего соответствия.

Он также наказывает большие ошибки большим весом, но сравнительно меньше, чем MSE. Входные и выходные данные хранятся в одном блоке.

Преимущества RMSE:

  • Потому что входные и выходные данные находятся в одном и том же блоке. Это очень интуитивно понятно.
  • Он дифференцируем, поэтому мы можем использовать алгоритм оптимизации.

Недостатки RMSE:

  • Как и MSE, RMSE также зависит от масштаба.
  • Он не устойчив к выбросам.

Среднеквадратичная логарифмическая ошибка (RMSLE):

Здесь мы берем журнал фактических и прогнозируемых значений, чтобы штрафовать ошибки в прогнозах больших значений больше, чем меньших значений. Он используется в задачах, где целевая переменная имеет асимметричное распределение или когда прогноз модели используется в экспоненциальном масштабе. На него не влияет масштаб прогнозируемых значений.

Это не штрафует за высокие ошибки из-за журнала. Недооценканаказывается больше, чем переоценка.

Преимущества RMSLE:

  • Он также дифференцируем, что хорошо для алгоритма оптимизации.
  • Он масштабно-инвариантен, что означает, что на него не влияет масштаб прогнозируемых значений.

Недостатки RMSLE:

  • Существует предвзятый штраф, который придает больший вес недооценке по сравнению с переоценкой.

R-квадрат (R²):

Его также называют «коэффициентом детерминации» или «согласием». Остаточная сумма квадратов (SSres) сравнивается с общей суммой квадратов (SStot). Он определяет, в какой степени дисперсия независимых переменных объясняет дисперсию зависимой переменной.

Он либо увеличивается, либо не изменяется, но никогда не уменьшается при добавлении новых данных. что означает, что мы не оштрафованы за неважную функцию. каждый раз, когда мы добавляем к нему данные. она увеличивается, даже если переменная незначительна.

Предполагается, что каждая независимая переменная объясняет изменения зависимой переменной.

Значение R2 находится в диапазоне от 0 до 1. где 1 указывает, что независимые переменные объясняют 100% вариации целевой переменной, а 0 указывает, что независимые переменные не объясняют никаких вариаций целевой переменной.

Недостаток R2:

  • Как я уже говорил ранее, когда в R2 добавляется новая переменная, она либо увеличивается, либо не изменяется без определения значимости вновь добавленной переменной. что означает, что к значению R2 также будет добавлена ​​незначительная переменная.

Скорректированный R²(adj-R²):

Он измеряет долю вариаций, объясняемых только теми независимыми переменными, которые действительно помогают объяснить зависимую переменную.

В отличие от R2, скорректированный R2 наказывает вас за добавление таких независимых переменных, которые не помогают предсказать зависимую переменную. Скорректированный R² ≤ R².

Где,

  • N = количество наблюдений
  • p = нет независимой переменной.

Примечание. У R-квадрата есть много недостатков, которые следует учитывать перед его использованием. Я никогда не использую его для сравнения моделей или определения качества подгонки. Поэтому я предлагаю вам пересмотреть его использование, и если вы хотите его использовать, то прочтите следующие статьи: 8 советов по интерпретации R-квадрата, написанные Тимом Боком, и >«Является ли R-Squared бесполезным?», написанный Клэем Фордом.

Спасибо, что нашли время прочитать статью. Если вам понравилась статья, нажмите кнопку Аплодисменты и оставайтесь со мной на связи, подписавшись на меня в Linkedin, GitHub. >» и Средний.