Статья Автор: Деникина Н.В., Деникин А.В.

Когда что важнее?

Выбор между Precision и Recall зависит от последствий ошибок:

Когда важнее RECALL (найти максимум)

Цена FN (пропустить) очень высока!

Медицинская диагностика опасных болезней
FN = не заметили рак → человек не получит лечение 😨
FP = ложная тревога → лишнее обследование (неприятно, но не смертельно)
Вывод: Лучше перестраховаться!

Детекция мошенничества
FN = пропустили мошенника → потеря денег 💸
FP = заблокировали нормальную операцию → клиент позвонит, разберутся
Вывод: Лучше проверить лишний раз!

Поиск дефектов в продукции
FN = бракованный товар попал к клиенту → возврат, репутация страдает
FP = выбросили нормальную деталь → небольшая потеря денег
Вывод: Лучше быть строже!
 

Когда важнее PRECISION (не ошибаться)

Цена FP (ложная тревога) очень высока!

Спам-фильтр
FP = важное письмо в спаме → можешь пропустить важную встречу 📧
FN = спам попал в inbox → просто удалишь
Вывод: Лучше пропустить спам, чем потерять важное письмо!

Рекомендательная система
FP = рекомендовали плохой фильм → пользователь разочарован, может уйти
FN = не показали хороший фильм → пользователь просто найдёт другой
Вывод: Лучше показывать меньше, но качественнее!

Судебная система
FP = невиновного посадили в тюрьму → разрушенная жизнь 
FN = виновный остался на свободе → всё равно плохо, но...
Вывод: "Лучше 10 виновных на свободе, чем 1 невиновный в тюрьме"
 

Золотое правило

"Какая ошибка дороже — та метрика и важнее!"
Печать