Маршрут разведки: восемь вопросов к любым данным

Зачем нужен маршрут

Приёмы pandas ты уже знаешь: отобрать строки, сгруппировать, посчитать среднее. Но приём — это ответ. А чтобы данные заговорили, нужны вопросы, и главное — задавать их в правильном порядке.

Когда к тебе приходит незнакомый файл, первый вопрос звучит не «как отфильтровать», а что это вообще такое и чему здесь можно верить. Ответ ищут разведывательным анализом — по-английски exploratory data analysis, EDA.

Это не набор приёмов, а маршрут из восьми шагов. Он один и тот же для любых данных: для базы персонажей, для таблицы продаж, для журнала посещаемости.

1. Что это за данные. Откуда взяты, что такое одна строка, что означает каждый столбец — до всякого кода.
2. Размер и типы. Сколько строк и столбцов, какие типы.
3. Пропуски и дубликаты. Чего не хватает и что повторяется.
4. Подозрительные значения. Диапазоны: не встречается ли невозможное.
5. Распределения. Среднее против медианы по каждому числовому столбцу.
6. Выбросы. Границу берём из данных, а не из головы.
7. Связи. Какие пары столбцов меняются согласованно.
8. Вывод словами. Три факта, два «чему нельзя верить», один следующий вопрос.

Почему порядок важен

Шаги не переставляются, и вот почему.

Пока не знаешь, что означает строка (шаг 1), любое посчитанное число нечем проверить. Пока не нашёл дубликаты (шаг 3), любая группировка тихо сложит вместе разные объекты. Пока не посмотрел на распределение (шаг 5), не поймёшь, можно ли вообще пользоваться средним. А выбросы (шаг 6) искать бессмысленно, если в столбце ещё лежат невозможные значения (шаг 4) — они и окажутся «выбросами».

Каждый следующий шаг опирается на предыдущий. Пропустишь один — остальные дадут правдоподобный, но неверный ответ.

Что делать с этим выводом

Посмотри на список числовых столбцов. Именно с ними будут работать шаги 5, 6 и 7: распределения, выбросы и связи. Текстовые столбцы пойдут в шаг «категориальные».

И обрати внимание на приём select_dtypes(include="number"). Он не требует знать имена столбцов заранее — код сам разбирается, с чем имеет дело. Так пишут разведку: она должна запускаться на файле, который видишь впервые.

Дальше по разделу мы пройдём все восемь шагов. Держи этот список перед глазами: к нему стоит возвращаться каждый раз, когда открываешь незнакомую таблицу.