Статья Автор: Деникина Н.В., Деникин А.В.

Границу выбросов берут из данных

Порог и выброс — разные вещи

Когда в задании написано «найди персонажей с силой больше 85» — это фильтр по порогу. Порог назначил человек. Другой человек назначит 80, и ответ изменится.

Выброс — это значение, необычно далёкое от основной массы. Насколько далёкое, решает не человек, а само распределение. Поэтому границу выбросов вычисляют из столбца.


Правило межквартильного размаха

Упорядочим значения столбца. Первая четверть — значение, ниже которого лежит четверть данных. Третья четверть — ниже которого лежит три четверти. Расстояние между ними называют межквартильным размахом: в него попадает ровно половина всех значений, самая середина.

q1 = df[c].quantile(0.25)
q3 = df[c].quantile(0.75)
iqr = q3 - q1
niz = q1 - 1.5 * iqr
verh = q3 + 1.5 * iqr

Всё, что дальше полутора размахов от этой середины, считают выбросом. Полтора — соглашение, но важно другое: сама граница вычислена из данных. На узком столбце она будет узкой, на разбросанном — широкой, и никто её не назначал.



Как читать эту таблицу

Сравни доли выбросов между столбцами — они скажут о форме распределения больше, чем любое отдельное число.

У столбца с естественным потолком — характеристика от 0 до 100, оценка от 0 до 10 — выбросов окажется мало: значениям просто некуда улететь. У столбца без потолка — деньги, сборы, население — выбросов будет заметно больше.

И связь с прошлым шагом прямая: столбцы, у которых среднее разошлось с медианой, здесь и дадут много выбросов. Это два взгляда на одно и то же свойство — перекос распределения.

Важно, чего этот шаг НЕ делает. Он не говорит, что выбросы надо удалить. Выброс может быть ошибкой ввода, а может быть самым интересным объектом в таблице — тем самым, ради которого её и собрали. Шаг 6 только показывает, где смотреть.


Чем поиск выбросов отличается от фильтра по порогу?

У столбца с характеристикой по шкале от 0 до 100 выбросов оказалось меньше, чем у столбца с деньгами. Почему?

Отметь верные утверждения про шаг 6.

Выброс найден. Что с ним делать?
Печать