Статья Автор: Деникина Н.В., Деникин А.В.

Train, val и test

Проверять на том, чему учил, нельзя

Допустим, модель угадывает время на всех вчерашних заказах с точностью до минуты. Значит ли это, что завтра она сработает? Не значит ничего: вчерашние ответы можно просто запомнить.

Ровно так работает зубрёжка по решебнику: на знакомых задачах сто процентов, на новой - ноль. Только цена ошибки здесь другая: приложение пообещает пользователю двадцать минут, а курьер приедет через пятьдесят.

Чтобы отличить «выучил правило» от «запомнил ответы», часть данных откладывают и не показывают модели вовсе.

Три части

Обобщение - способность модели работать на данных, которых она не видела. Ради него всё и затевается; на обучающих данных высокая точность не стоит ничего.

train - на ней модель учится.
val - на ней выбирают: сколько слоёв, какой шаг обучения, когда остановиться.
test - открывается один раз, когда всё уже решено.

Если подбирать параметры по test, он превращается во второй train, и честной оценки не остаётся ни одной. Каждый взгляд на тест - это чуть-чуть подгонки под него, даже если ты ничего специально не делал.

Тест открывают один раз.

import numpy as np

n = 5000
rng = np.random.default_rng(42)
order = rng.permutation(n)          # перемешали номера примеров

n_train = int(n * 0.70)
n_val = int(n * 0.15)

train = order[:n_train]
val = order[n_train:n_train + n_val]
test = order[n_train + n_val:]

print(len(train))
print(len(val))
print(len(test))
print(len(set(train) & set(test)))
print(len(set(train) | set(val) | set(test)))

Вывод

Пересечений ноль, сумма трёх частей сходится с исходным числом примеров. Обе проверки стоит писать сразу, а не когда результат покажется подозрительным.

В датасете 5000 примеров, разбиение 70 / 15 / 15. Сколько примеров попадёт в val?

Проверить ответ

Утечка

Утечка - это когда в обучение просачивается информация из теста. Модель показывает отличный результат, а в работе проваливается, и понять почему бывает очень трудно.

Самая частая утечка: посчитали среднее и разброс по всем данным, а разделили потом. Вроде безобидно - но среднее теперь знает про тестовые примеры.

import numpy as np

# время доставки по десяти заказам, минуты
x = np.array([12.0, 15.0, 18.0, 20.0, 22.0, 25.0, 28.0, 30.0, 35.0, 40.0])

mean_all = x.mean()                 # среднее по всем заказам — так нельзя
train = x[:7]
mean_train = train.mean()           # среднее только по обучающей части

print(mean_all)
print(mean_train)
print(mean_all == mean_train)

Вывод

24.5
20.0
False

Числа разные. Значит, нормируя по всем данным, ты сообщил модели кое-что о тесте - и оценка перестала быть честной.

Печать