Статья Автор: Деникина Н.В., Деникин А.В.

Площадь под ROC - кривой

ROC-кривая (Receiver Operating Characteristic) — это график, который показывает, насколько хорошо бинарный классификатор различает два класса, меняя порог решения.

Модель при предсказании выдаёт вероятность принадлежности объекта к положительному классу (1).
Чтобы получить финальный ответ (0 или 1), вероятность сравнивают с порогом — если больше порога, выбирают класс 1, иначе 0.
ROC-кривая строится путём изменения этого порога от 0 до 1 и для каждого порога вычисляют:
- True Positive Rate (TPR) — долю правильно распознанных положительных объектов (чувствительность, recall).
- False Positive Rate (FPR) — долю отрицательных объектов, ошибочно отнесённых к положительным.

На графике по оси X откладывается FPR, по оси Y — TPR. Идеальная модель стремится к верхнему левому углу (FPR=0, TPR=1).

Площадь под ROC-кривой (AUC) показывает общее качество модели:

AUC = 0.5 — модель не лучше случайного угадывания,
AUC = 1.0 — идеальная модель.

ROC-кривая помогает выбрать оптимальный порог и понять компромисс между количеством ошибок первого рода (ложно положительные) и второго рода (ложно отрицательные).

import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import roc_curve, auc

# Пример истинных меток (0 и 1) и предсказанных вероятностей для положительного класса
y_true = np.array([0, 0, 1, 1])
y_scores = np.array([0.1, 0.4, 0.35, 0.8])

# Вычисление ROC-кривой и AUC
fpr, tpr, thresholds = roc_curve(y_true, y_scores)
roc_auc = auc(fpr, tpr)

plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, color='blue', label=f'ROC-кривая (AUC = {roc_auc:.2f})')

# Рисуем диагональ случайного угадывания
plt.plot([0, 1], [0, 1], color='grey', linestyle='--')

# Добавим поясняющие аннотации
for i, thresh in enumerate(thresholds):
    plt.annotate(f'{thresh:.2f}',
                 xy=(fpr[i], tpr[i]),
                 textcoords='offset points',
                 xytext=(5,-10),
                 fontsize=9)

plt.title('Пример ROC-кривой')
plt.xlabel('False Positive Rate (Ложноположительные)')
plt.ylabel('True Positive Rate (Чувствительность)')
plt.legend(loc='lower right')
plt.grid(True)
plt.show()

Точки на синей кривой — значения TPR и FPR при разных порогах классификации (указаны числа порогов).
Область под ROC-кривой (AUC) показывает качество модели — близко к 1 лучше, 0.5 — случайное угадывание.
Серый пунктир — линия случайного классификатора.
Чем выше и левее кривая, тем лучше модель различает классы.

Печать