Важными темами для нас являются аналитика в сфере здравоохранения и интеллектуальный анализ данных. Приложения для здравоохранения и медицинские данные пересекаются с наукой о данных и аналитикой больших данных. Понимание алгоритмов обработки больших данных.
Эта статья является частью серии статей на тему Большие данные для курса информатики здравоохранения
Вы можете перейти по ссылке выше, чтобы понять эту тему в контексте полного курса. Эта статья ссылается на знания из статьи Прогнозное моделирование, однако метрики для темы методов классификации будут освещены таким образом, чтобы их можно было понять независимо от полного курса.
Примечание. Для этой статьи требуется знание концепций машинного обучения.
Введение и Резюме
В предыдущей статье; Прогнозное моделирование мы обсуждаем, как оценить производительность прогностической модели. Одной из основных проблем является качество разработанных моделей. Для решения этой проблемы мы создаем такие показатели оценки, как:
- Точность: измеряет, насколько часто классификатор правильно предсказывает. Мы можем определить точность как отношение количества правильных прогнозов к общему количеству прогнозов.
- Чувствительность
- Специфика
- и т. д.
Ключевой частью работы с большими данными является формирование множества убеждений и сравнение их с оценочными показателями.
Подводя итог, мы рассмотрели конвейер прогнозной модели и рассмотрели общие алгоритмы прогнозного моделирования; регрессия и классификация.
Мы сосредоточимся на шестом шаге, который называется «Оценка производительности», и разберемся в деталях показателей. Прогнозные модели — это функция, которая сопоставляет объекты для прогнозирования цели.
Алгоритмы классификации имеют цель y либо как двоичную систему, либо как набор категорий. Метрики оценки включают в себя:
- Верно/ложноположительный показатель
- Положительная прогностическая модель
- F1
- Площадь под кривой ROC
Алгоритмы регрессии имеют целью непрерывное число. Метрики оценки для регрессии включают
- Средняя абсолютная ошибка
- Среднеквадратическая ошибка
- R в квадрате
Результаты
Мы рассмотрим каждую метрику производительности, упомянутую ранее. Дайте им определение и объясните, как они связаны друг с другом.
Показатели производительности для задач бинарной классификации
Бинарная классификация предсказывает один из двух классов. Например, понять, будет ли у пациента сердечная недостаточность или нет.
Прогноз или результат бинарной прогностической модели может быть как положительным, так и отрицательным. Точно так же основные истинные значения (то, что на самом деле происходит в действительности) могут быть как положительными, так и отрицательными. В зависимости от комбинации результата прогнозирования и наземной истины формируется таблица непредвиденных обстоятельств или матрица путаницы со следующими результатами:
- Истинно положительный: этот результат виден, когда результат прогноза положительный, а условие истинности основания также положительное.
- Ложноположительный: этот результат возникает, когда прогноз положительный, но на самом деле основное условие истинности отрицательное. Это также известно как ошибка 1 типа.
- Ложноотрицательный: это также известно как ошибка 2-го типа. Это происходит, когда прогноз отрицателен, но условие истинности является положительным.
- Истинно отрицательный: это когда и основная правда, и предсказание отрицательны.
Анализ диаграммы выше, чтобы понять отношения. Каждая строка и столбец матрицы суммируются с маргиналом. Что это значит?
Когда мы складываем положительный результат прогнозирования с отрицательным результатом прогнозирования вместе, мы получаем общую популяцию. Точно так же, когда мы суммируем истинное положительное с ложноотрицательным, мы получаем общее значение для основного условия истинности, которое является положительным, и так далее….
Это основные показатели, из которых состоит бинарная классификация, однако на основе этих четырех показателей мы можем получить больше показателей, взяв соотношения различных значений.
- Истинный положительный показатель = Истинный положительный результат / Положительное состояние
- Ложноположительный показатель = Ложноположительный / Отрицательный результат
- Ложноотрицательный показатель = Ложноотрицательный / Положительный результат
- Истинный отрицательный показатель = Истинно отрицательный / Условно-отрицательный
Точность
Точность — это самая основная метрика, которая интуитивно понятна. Он рассчитывается по следующей формуле:
Точность = (Истинно положительный + Истинно отрицательный) / Общая численность населения.
Примечание. Показатели точности представляют собой нормализацию значений истинности наземных измерений.
Однако это не лучшая метрика, если метки классов несбалансированы. Предположим, у нас есть 1% от общей численности населения с сердечной недостаточностью с помощью тривиальной модели, мы можем просто предсказать, что у всех нет сердечной недостаточности, и точность будет 99%.
Чувствительность
Со многими именами; Истинный положительный показатель/чувствительность или отзыв – еще один важный показатель. Чтобы вычислить это, мы можем:
Чувствительность = Истинный положительный результат / Условие положительное.
Предположим, что положительный результат означает сердечную недостаточность, а отрицательный означает отсутствие сердечной недостаточности. Для того, чтобы измерить среди всех людей в популяции с сердечной недостаточностью (т.е. с истинно положительным результатом), какой процент правильно определяется моделью.
Здесь нам нужна высокая скорость, это говорит о том, что модель близка к правильной.
Ложноотрицательный показатель
Связанная метрика, которая может быть получена альтернативным способом, а именно:
Ложноотрицательный показатель = 1- Истинный положительный результат
Эта метрика позволяет нам узнать от всех пациентов, у которых есть состояние, основанное на основной истине, сколько из них предиктор ошибочно классифицировал как отсутствие состояния.
Мы хотим, чтобы этот показатель был низким, так как это указывало на меньшее количество ошибочных классификаций.
Ложноположительный результат
Интуиция, лежащая в основе этой метрики, состоит в том, чтобы измерить среди всех пациентов без сердечной недостаточности процент из них, у которых модель неправильно предсказывает сердечную недостаточность.
Это должно быть низким, так как мы хотим более правильных прогнозов.
Специфичность или истинно отрицательный результат
Это также можно рассчитать, вычитая 1 из доли ложных срабатываний. Этот показатель говорит нам о количестве пациентов без сердечной недостаточности, которое модель предсказала правильно. Мы хотим, чтобы этот показатель был выше.
Распространенность
Точность — это метрика, которая представляет собой нормализацию метрик наземной истины, тогда как распространенность определяется некоторым товаром, деленным на результаты прогнозирования.
Распространенность - это отношение между положительным состоянием и общей популяцией. Распространенность измеряет, насколько вероятно заболевание встречается в общей популяции, и это значение может различаться в зависимости от различных состояний заболевания. Например, сердечная недостаточность среди пожилых людей может быть выше по сравнению с более молодым населением.
- Положительная прогностическая ценность (точность) = Истинно положительный результат / Положительный результат прогноза
- Частота ложных пропусков = ложноотрицательный результат / отрицательный результат прогноза
- Частота ложных открытий = ложноположительный результат / положительный результат прогноза
- Отрицательная прогностическая ценность = Истинно отрицательный результат / Результат прогноза отрицательный
Положительная прогностическая ценность или точность
Это также называется Точность. Положительная прогностическая ценность показывает среди всех пациентов, у которых прогнозируется сердечная недостаточность, какой процент из них действительно будет иметь сердечную недостаточность.
Другими словами, все те пациенты, которые правильно классифицировались по сравнению с пациентами из популяции, получившей положительный прогноз. Это должно быть высокое значение, поскольку мы стремимся предсказать положительный результат для всех тех основных условий истинности, которые являются положительными.
Ложная скорость обнаружения
Эта метрика связана с точностью, частота ложных обнаружений + точность = 1.
Какое соотношение населения дало предиктор положительный результат, поскольку они были ложно идентифицированы как положительные случаи, несмотря на то, что они были отрицательными на основании фактов.
Этот показатель указывает на то, что предиктор обнаружил их как положительные, однако это ложные открытия.
Если это значение низкое, это означает, что предиктор хорошо предсказывает положительные результаты.
Частота ложных пропусков
Пропуск означает пропуск или исключение. Этот показатель дает нам представление о проценте пациентов, у которых разовьется сердечная недостаточность, но модель классифицировала их как отрицательные.
Желательно, чтобы эта метрика была низкой — это означает, что предиктор не пропустил ни одного положительного случая.
Отрицательное прогностическое значение
Это доля населения, которое было правильно классифицировано как отрицательный исход. Это желательно как более высокий показатель.
Хорошая прогностическая модель будет иметь высокую положительную прогностическую ценность и высокую отрицательную прогностическую ценность. Они должны быть близкими или равными положительным и отрицательным значениям наземной истины соответственно.
Оценка F1
Он сочетает в себе:
- Истинный положительный показатель = истинно положительный / положительный результат
- и положительное прогностическое значение = истинно положительный / положительный результат прогноза
Формула представлена на диаграмме ниже. Желательны высокие баллы F1.
Характеристики оператора приемника
Как правило, прогностические модели выводят непрерывные оценки прогнозов. Чтобы определить, какой диапазон непрерывных оценок следует классифицировать как 1 или 0, нам нужно определить порог в качестве границы предсказания. Этот порог оказывает существенное влияние на все показатели производительности. Так как же нам определить это пороговое значение?
Кривая рабочих характеристик приемника (ROC) или площадь под кривой (AUC) позволяют сравнивать различные классификаторы в качестве границы предсказания.
Эта кривая создается путем построения истинно положительного показателя против ложноположительного показателя. Мы можем добиться этого, упорядочив оценку прогноза, как показано ниже, в порядке убывания, а затем используя оценки прогнозирования в качестве потенциальных пороговых значений.
В приведенном ниже примере у нас есть 20 пациентов, 10 из них имеют положительный и отрицательный результат, обозначенный p и n соответственно.
Сортируем по убыванию; оценку прогноза и рассматривать каждую как пороговое значение. Значения p нанесены на ось y, то есть: истинно положительный уровень, а значения n нанесены на ось x как ложноположительный уровень.
Когда мы наносим эти значения, мы формируем линейный график на каждом пике, это точки, которые мы рассматриваем как пороговое значение. Как мы выбираем лучшее значение? Ну, это зависит от того, чего вы пытаетесь достичь.
- A: Если вы хотите, чтобы частота ложных срабатываний была низкой (0,8)
- B: Если вы одинаково заботитесь об обеих ставках (0,54)
- C: Для высокой доли истинно положительных результатов (0,38)
- D: Для высокой доли истинно положительных результатов (0,30)
Оптимальное пороговое значение может варьироваться в зависимости от порога.
Метрики регрессии
Две популярные метрики производительности регрессии:
- MAE (средняя абсолютная ошибка): измеряет среднее значение абсолютных ошибок. Это абсолютная разница между прогнозом и значением истинности. MAE более устойчив к выбросам, однако с ним труднее работать, поскольку это абсолютное значение не дифференцируемо.
- MSE (среднеквадратичная ошибка): измеряет среднее значение квадрата ошибки — с ним легче работать, поскольку производная квадратного члена является линейной. На MSE сильно влияют выбросы из-за квадратного члена.
Обе эти метрики не ограничены фиксированным диапазоном, что делает невозможным сравнение наборов данных.
- R в квадрате: это еще один показатель регрессии. Он имеет фиксированный максимальный балл 1. R в квадрате также называется коэффициентом детерминации. Это 1 минус отношение между MSE и дисперсией.
На приведенной выше диаграмме мы видим пример модели линейной регрессии со MSE = 0,86 и дисперсией = 4,907. В этом примере R в квадрате = 0,82.
Это считается хорошей ценностью. R в квадрате, равный 1, указывает, что регрессия идеально соответствует данным, а 0 указывает, что линия также не соответствует данным.
Возможны отрицательные значения R в квадрате. Это означает, что прогностическая модель работала хуже, чем простое среднее по данным.
Краткое напоминание: полное резюме курса можно найти на курсе Большие данные для информатики здравоохранения
Надеюсь, вы чему-то научились.
-R
