Показатели производительности для моделей машинного обучения (часть 10: кривая PR)

Метрики классификации доктора Элвина Анга

https://www.alvinang.sg/s/Classification_Metrics_for_ML_Models_by_Dr_Alvin_Ang.ipynb

Когда использовать Что?

Когда использовать кривую PR?

Как работает кривая PR?

Типичная кривая PR выглядит так.

Это просто противоположность кривой ROC/AUC.

Чем дальше кривая AUC-PR от базового классификатора, тем лучше ваша модель.

Если AUC-PR = 1 → это идеальный классификатор → ОТЛИЧНО.

Если AUC-PR = 0,5 → его базовый классификатор → ПЛОХО!

Кривая PR в Python

import pandas as pd
import numpy as np
import scikitplot as skplt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression

# Load the CSV file into a DataFrame and extract features (X) and target (y)
url = 'https://www.alvinang.sg/s/iris_dataset.csv';

df = pd.read_csv(url)
X = df.iloc[:, :4]
y = df.iloc[:, -1]

# Split the data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Fit the logistic regression model
model = LogisticRegression()
model.fit(X_train, y_train)

# Generate predicted probabilities for the test set
y_probs = model.predict_proba(X_test)

# Plot the Precision-Recall curve
skplt.metrics.plot_precision_recall_curve(y_test, y_probs)

О докторе Элвине Анге

Доктор Элвин Анг получил степень доктора философии, магистра и бакалавра в NTU, Сингапур. Ранее он был главным консультантом (наука о данных), а также доцентом. Он также был адъюнкт-лектором SUSS в течение 8 лет. Его внимание и интерес сосредоточены в области науки о данных в реальном мире. Хотя по образованию он операционный исследователь, его страсть к практическим применениям перевешивает его академическое образование. Он ученый, предприниматель, а также личный/деловой консультант.

Подробнее о нем на www.AlvinAng.sg.