Модель, запомнившая обучающие примеры, идеальна на них и бесполезна на новых. Чтобы это увидеть, часть данных откладывают и не показывают при подборе весов: train — по ней подбирают, validation — по ней выбирают настройки, test — открывают один раз в конце.
Перед делением номера примеров перемешивают, иначе в тест попадут только заказы последнего дня. Генератор случайных чисел запускают с явно заданным начальным значением: без него каждый запуск даёт другое разбиение, и два своих же эксперимента не сравнить.
Подробно это разобрано в учебнике: Как проверять модель честно
В выгрузке 5000 заказов. Раздели их на три части в долях 70, 15 и 15 процентов.
Номера заказов перемешай генератором с явно заданным начальным значением. Размеры частей вычисли из долей, а не впиши числами.
Выведи размеры трёх частей, сумму размеров и размеры попарных пересечений — их должно быть три нуля.