Статья Автор: Деникина Н.В., Деникин А.В.

Лучшая прямая: метод наименьших квадратов

Хватит угадывать

До сих пор мы брали k и b с потолка: 3 и 0, потом 2 и 0. Можно было бы перебирать их в цикле, но пар бесконечно много, и перебор всегда даёт лишь «лучшую из проверенных», а не лучшую вообще.

Хорошая новость: для RSS лучшую прямую не надо искать перебором — она выписывается формулой. Метод так и называется: метод наименьших квадратов (МНК). Название буквальное: минимизируется сумма квадратов остатков.

Обрати внимание на слово «квадратов». МНК даёт прямую с наименьшим RSS. Про MAE он ничего не обещает — и в конце тетради мы увидим, чем это оборачивается.

Формулы

Сначала считаем средние по обоим столбцам: x̄ и ȳ. Затем две суммы:

Sxy = Σ (xᵢ − x̄)(yᵢ − ȳ)
Sxx = Σ (xᵢ − x̄)²

И сами коэффициенты:

k = Sxy / Sxx
b = ȳ − k · x̄

Смысл проще, чем вид. Sxx — насколько сильно разбросаны бюджеты. Sxy — насколько согласованно бюджет и сборы отклоняются от своих средних: если фильмы с бюджетом выше среднего обычно и собирают выше среднего, сумма получится большой положительной. Отношение и даёт наклон.

Формула для b говорит, что прямая МНК всегда проходит через точку (x̄, ȳ) — через «центр тяжести» облака точек. Это удобная проверка: если подставить среднее и не получилось среднее, где-то ошибка.

# --- чтение таблицы: в каждой тетради определяем заново ---
def load(fname):
    f = open(fname, encoding="utf-8")
    header = f.readline().strip().split(",")
    data = []
    for line in f:
        line = line.strip()
        if line == "":
            continue
        parts = line.split(",")
        row = {}
        for i in range(len(header)):
            row[header[i]] = parts[i]
        data.append(row)
    f.close()
    return data

movies = load("movies.csv")
# бюджет и сборы переводим в миллионы долларов - так числа читаемее
X = [int(m["budget"]) / 1000000 for m in movies]
Y = [int(m["gross"]) / 1000000 for m in movies]
print("фильмов:", len(X))

n = len(X)
mx = sum(X) / n
my = sum(Y) / n

Sxy = 0
Sxx = 0
for i in range(n):
    Sxy = Sxy + (X[i] - mx) * (Y[i] - my)
    Sxx = Sxx + (X[i] - mx) ** 2

k = Sxy / Sxx
b = my - k * mx

print("средний бюджет: %.2f млн" % mx)
print("средние сборы:  %.2f млн" % my)
print("k = %.4f" % k)
print("b = %.4f" % b)
print()
print("проверка: подставим средний бюджет ->", round(k * mx + b, 4), "(должно совпасть со средними сборами)")

Выпиши наклон k, который посчитал код. Два знака после запятой.

Проверить ответ

Выпиши сдвиг b. Два знака после запятой, со знаком.

Проверить ответ

Что мы выиграли — и что проиграли

RSS найденной прямой равен 85719594. У всех прямых, что мы пробовали раньше, он был больше — 107513599 у 2x и 87991678 у 3x − 20. По RSS МНК действительно непобедим, это гарантирует сама формула.

А теперь неприятное. MAE прямой МНК равен 68.04. У наивной прямой ŷ = 2x, которую мы взяли наугад, MAE равен 63.93 — то есть лучше.

«Лучшая» прямая проиграла случайной. Противоречия нет: МНК минимизирует RSS и делает это безупречно, но минимум RSS и минимум MAE достигаются в разных точках. Если перебрать наклон при b = 0, минимум MAE окажется около k = 2.20, а минимум RSS — около k = 3.15.

Причина всё та же: квадраты тянут прямую вверх, к блокбастерам, потому что их промахи в квадрате огромны. MAE на блокбастеры почти не смотрит — их мало.

Что именно минимизирует метод наименьших квадратов?

Проверить ответ

Отметь верные утверждения про прямую МНК.

Проверить ответ

Какие сборы прямая МНК предскажет фильму с бюджетом 50 млн? Два знака после запятой.

Проверить ответ

Загрузка...

Чтобы оставить комментарий, необходимо авторизоваться

💬

Пока нет комментариев. Будьте первым!

Печать