Machine Learning · Эксперимент
Линейная песочница
Постройте свою регрессию интерактивно: двигайте параметры истинной зависимости, уровень шума, число точек — и смотрите, как алгоритм OLS подстраивается, и как меняется $R^2$ в реальном времени.
Идея. увидеть OLS в динамике Время. сколько захочется
Под капотом песочницы — те же формулы, что и в sklearn. Каждый раз, когда вы двигаете слайдер, заново генерируются точки $y = a x + b + \varepsilon$, метод наименьших квадратов аналитически решается через $\bar{x}, \bar{y}$ и считаются метрики.
Эксперимент · линейная регрессия в реальном времени
Синяя пунктирная линия — истинная зависимость, которой мы «не знаем». Золотая сплошная — то, что модель восстановила по точкам.
Что попробовать
① Шум на максимум
Точки разлетятся в облако, $R^2$ упадёт. Но найденные $w$ и $b$ всё равно останутся близки к истинным — модель не сходит с ума, просто становится менее точной.
② Мало точек
Число точек на минимум (10) и шум побольше. Жмите «Новая случайность» — заметите, как сильно «гуляет» прямая. С маленькой выборкой выводы ненадёжны.
③ Шум = 0
Модель восстанавливает истинные параметры в точности, $R^2 = 1{,}000$. В реальной жизни так не бывает никогда.
④ Отрицательный наклон
Поставьте $a = -2$ — алгоритму всё равно, формулы одни и те же. Знак коэффициента просто указывает направление зависимости.
Почему это важно понимать
Когда вы вызываете model.fit() на реальных данных, под капотом происходит именно это: метод наименьших квадратов находит «лучшую» прямую, не зная о существовании «истинной» зависимости. И ваша задача — глядя на $R^2$ и остатки, понять, насколько найденному ответу можно доверять.
❦
курс пройден · впереди регуляризация и нелинейные модели