Статья Автор: Деникина Н.В., Деникин А.В.

Ошибка модели одним числом

Зачем сворачивать ошибки в одно число

Остатков столько же, сколько фильмов — на полном датасете их 5378. Сравнить две прямые, разглядывая 5378 пар чисел, невозможно. Нужно одно число, по которому прямые можно выстроить от лучшей к худшей.

Первая идея и почему она не работает

Самое очевидное — сложить все остатки. Идея разваливается сразу: плюсы гасят минусы, и модель, которая половину фильмов дико занижает, а половину дико завышает, получит прекрасную «нулевую ошибку».

Это не теоретический страх. Для наших шести фильмов возьмём прямую ŷ = 3x + 170.8. Сумма её остатков равна 0.1 — практически ноль. А средний по модулю промах при этом 236.28 млн. Модель ужасная, а «ошибка» нулевая.

Две рабочие меры

Чтобы промахи не гасили друг друга, от знака надо избавиться. Есть два способа.

MAE (mean absolute error) — берём модуль и усредняем:

MAE = (|о₁| + |о₂| + ... + |оₙ|) / n

Читается прямо: «в среднем модель промахивается на столько-то миллионов». Единицы те же, что у сборов.

RSS (residual sum of squares) — возводим в квадрат и складываем:

RSS = о₁² + о₂² + ... + оₙ²

Квадрат не только убирает знак, но и наказывает крупные промахи непропорционально: ошибка в 100 даёт вклад в сто раз больший, чем ошибка в 10. Единицы — «миллионы в квадрате», смысла сами по себе не имеют, поэтому RSS используют только для сравнения.

Посчитай MAE прямой ŷ = 3x на шести фильмах из урока 2.1. Два знака после запятой.

Проверить ответ

# --- чтение таблицы: в каждой тетради определяем заново ---
def load(fname):
    f = open(fname, encoding="utf-8")
    header = f.readline().strip().split(",")
    data = []
    for line in f:
        line = line.strip()
        if line == "":
            continue
        parts = line.split(",")
        row = {}
        for i in range(len(header)):
            row[header[i]] = parts[i]
        data.append(row)
    f.close()
    return data

movies = load("movies.csv")
# бюджет и сборы переводим в миллионы долларов - так числа читаемее
X = [int(m["budget"]) / 1000000 for m in movies]
Y = [int(m["gross"]) / 1000000 for m in movies]
print("фильмов:", len(X))

def mae(k, b):
    s = 0
    for i in range(len(X)):
        s = s + abs(Y[i] - (k * X[i] + b))
    return s / len(X)

def rss(k, b):
    s = 0
    for i in range(len(X)):
        ost = Y[i] - (k * X[i] + b)
        s = s + ost * ost
    return s

print()
print("%-18s %12s %18s" % ("прямая", "MAE", "RSS"))
for k, b in [(2.0, 0.0), (3.0, -20.0)]:
    print("y = %.1fx %+.0f %12.2f %18.0f" % (k, b, mae(k, b), rss(k, b)))

Две честные меры дают разные ответы

Посмотри на вывод. Прямая ŷ = 2x лучше по MAE (63.93 против 65.46), а прямая ŷ = 3x − 20 лучше по RSS (107513599 против 87991678). Они спорят.

Ошибки тут нет — обе меры считают правильно, просто спрашивают разное. MAE спрашивает: «на сколько модель промахивается на типичном фильме?» Типичный фильм недорогой, и для него мягкая прямая 2x подходит лучше. RSS спрашивает: «насколько велики самые крупные промахи?» Крупные промахи дают блокбастеры, и ради них выгоднее задрать наклон.

Отсюда важный вывод, который стоит держать в голове весь курс: слов «лучшая модель» без указания меры не существует. Сначала выбираешь, что считать ошибкой, и только потом ищешь лучшую модель по этой мере.

Какая из двух прямых лучше по MAE на полном датасете?

Проверить ответ

Какая из тех же двух прямых лучше по RSS?

Проверить ответ

Отметь верные утверждения.

Проверить ответ

Что изменится, если у одного фильма остаток вырастет с 10 до 100 млн, а у всех остальных останется прежним? Отметь всё верное.

Проверить ответ

Загрузка...

Чтобы оставить комментарий, необходимо авторизоваться

💬

Пока нет комментариев. Будьте первым!

Печать