Статья Автор: Деникина Н.В., Деникин А.В.

1.3 Порядок и середина — медиана против среднего

Когда среднее обманывает

Средний бюджет фильма в нашей таблице — 36.02 млн. Звучит так, будто типичный фильм стоит примерно столько. Проверим это.

Медиана — значение ровно посередине упорядоченного ряда: половина строк меньше, половина больше. Считается в два шага: отсортировать столбец и взять середину.

Тонкость: строк у нас 5378 — число чётное, точной середины не существует. В этом случае берут два центральных значения и усредняют их.

v = sorted(значения)
n = len(v)
if n % 2 == 1:
    med = v[n // 2]
else:
    med = (v[n // 2 - 1] + v[n // 2]) / 2

Результат, ради которого всё затевалось

Медианный бюджет — 21.65 млн, а средний — 36.02 млн. Среднее больше медианы почти вдвое.

Причина в блокбастерах. Фильмов за двести миллионов немного, но каждый тянет среднее вверх с огромной силой, а на медиану не влияет вовсе: она смотрит только на то, какое значение стоит в середине, и ей всё равно, насколько велик самый большой.

Теперь сравни с оценкой: среднее 6.39, медиана 6.50 — почти совпадают. Оценки не могут улететь в бесконечность, они зажаты между 0 и 10, поэтому перекоса нет.

Правило. Расходятся среднее и медиана — значит в столбце есть редкие, но очень большие значения. Это первый признак выбросов, и в модуле 2 мы вернёмся к ним уже всерьёз: именно они будут ломать нашу модель.

# --- чтение таблицы: в каждой тетради определяем заново ---
def load(fname):
    f = open(fname, encoding="utf-8")
    header = f.readline().strip().split(",")
    data = []
    for line in f:
        line = line.strip()
        if line == "":
            continue
        parts = line.split(",")
        row = {}
        for i in range(len(header)):
            row[header[i]] = parts[i]
        data.append(row)
    f.close()
    return data

movies = load("movies.csv")

def median(values):
    v = sorted(values)
    n = len(v)
    if n % 2 == 1:
        return v[n // 2]
    return (v[n // 2 - 1] + v[n // 2]) / 2

budgets = [int(m["budget"]) for m in movies]
scores = [float(m["score"]) for m in movies]

print("строк:", len(budgets), "- чётное:", len(budgets) % 2 == 0)
print()
print("бюджет: среднее %8.2f млн   медиана %8.2f млн" % (
    sum(budgets) / len(budgets) / 1000000, median(budgets) / 1000000))
print("оценка: среднее %8.2f       медиана %8.2f" % (
    sum(scores) / len(scores), median(scores)))
print()
v = sorted(budgets)
n = len(v)
print("два центральных бюджета: %d и %d" % (v[n // 2 - 1], v[n // 2]))

Разбор: два столбца, два разных вывода

По бюджету среднее 36.02 млн, медиана 21.65 млн — разрыв почти вдвое. По оценке среднее 6.39, медиана 6.50 — практически одно и то же.

Код напечатал и два центральных бюджета: медиана оказалась их полусуммой, поэтому у неё и получились копейки на конце. Это прямое следствие чётного числа строк.

Почему столбцы ведут себя по-разному, мы разобрали выше: у бюджета нет потолка, у оценки он есть. Расхождение среднего и медианы — сигнал, что в столбце сидят выбросы. В модуле 2 эти самые фильмы будут тянуть на себя нашу первую модель, и мы вернёмся к ним уже с инструментами.

Чему равен медианный бюджет в миллионах? Два знака после запятой.

Проверить ответ

Среднее по столбцу заметно больше медианы. О чём это говорит?

Проверить ответ

Отметь верные утверждения про медиану.

Проверить ответ

У столбца score среднее и медиана почти совпали. Почему?

Проверить ответ

Загрузка...

Чтобы оставить комментарий, необходимо авторизоваться

💬

Пока нет комментариев. Будьте первым!

Печать