Вот некоторые из наиболее распространенных показателей производительности машинного обучения:

  • Матрица ошибок. Матрица ошибок – это таблица, в которой суммируются характеристики модели машинного обучения. Он показывает количество истинных положительных результатов, ложных положительных результатов, истинно отрицательных результатов и ложно отрицательных результатов.
  • Истинно положительный результат (TP): модель правильно предсказывает, что входные данные являются положительными.
  • Ложное срабатывание (FP): модель неправильно предсказывает, что входные данные являются положительными.
  • Истинно отрицательный (TN): модель правильно предсказывает, что входные данные отрицательные.
  • Ложноотрицательный результат (FN): модель неправильно предсказывает, что входные данные являются отрицательными.
  • Точность. Точность — это доля прогнозов, в которых модель оказывается верной. Он рассчитывается путем деления количества правильных прогнозов на общее количество прогнозов.
  • Отзыв. Отзыв — это доля положительных случаев, которые модель правильно предсказывает. Он рассчитывается путем деления количества истинных положительных результатов на сумму истинных положительных и ложных отрицательных результатов.
  • Точность. Точность — это доля прогнозируемых положительных случаев, которые на самом деле являются положительными. Он рассчитывается путем деления количества истинных положительных результатов на сумму истинных положительных и ложных положительных результатов.
  • Оценка F1. Оценка F1 является мерой точности и запоминаемости. Он рассчитывается путем принятия среднего гармонического значения точности и полноты.
  • Кривая ROC/AUC. Кривая ROC представляет собой графический график зависимости частоты истинно положительных результатов (TPR) от частоты ложных срабатываний (FPR). TPR — это отношение истинно положительных результатов к сумме истинно положительных и ложно отрицательных результатов. FPR — это отношение ложноположительных результатов к сумме ложноположительных и истинно отрицательных результатов.

Конкретный показатель производительности, наиболее подходящий для конкретной модели машинного обучения, будет зависеть от конкретной проблемы, для решения которой используется модель. Например, если модель используется для классификации изображений, тогда все показатели точности, прецизионности и полноты будут иметь значение. Однако если модель используется для прогнозирования вероятности оттока клиентов, то кривая ROC/AUC будет наиболее подходящим показателем.

Вот несколько примеров того, как можно использовать эти показатели:

  • Матрицу путаницы можно использовать для определения типов ошибок, допускаемых моделью машинного обучения. Например, если модель ошибочно классифицирует большое количество положительных случаев как отрицательные, это может указывать на то, что модель необходимо настроить так, чтобы она была более чувствительной к положительным случаям.
  • Метрику точности можно использовать для получения общего представления о том, насколько хорошо работает модель машинного обучения. Однако важно отметить, что точность может ввести в заблуждение, если классы несбалансированы. Например, если модель используется для классификации изображений кошек и собак, и изображений кошек в 10 раз больше, чем собак, то модель может достичь точности 90%, просто предсказав, что все изображения — кошки.
  • Метрики точности и полноты можно использовать для более детального понимания того, насколько хорошо работает модель машинного обучения для каждого класса. Например, если модель используется для прогнозирования оттока клиентов, то показатель точности будет более важным, чем показатель отзыва, если компания хочет минимизировать количество ложных срабатываний.
  • Оценка F1 представляет собой средневзвешенное значение показателей точности и полноты. Его часто используют как единую метрику для обобщения производительности модели машинного обучения.
  • Кривую ROC/AUC можно использовать для сравнения производительности различных моделей машинного обучения. Его также можно использовать для выбора порога модели, который минимизирует стоимость ложноположительных и ложноотрицательных результатов.