функция потерь MSE = среднее (прогноз − факт)²
для одного веса MSE(w) = 7.5 · (w − 3)²
её производная 15 · (w − 3)
общая формула 2 · (прогноз − факт) · признак, усреднённая по примерам
численная производная (f(w + h) − f(w − h)) / (2h)
градиент ∇L = ( ∂L/∂w₁, ∂L/∂w₂, ..., ∂L/∂b )
все веса сразу ∇L = 2 · Xᵀ · (X · w + b − y) / n
шаг спуска w = w − lr · ∇L
множитель расстояния 1 − 15 · lr, расходимость при |множитель| > 1
стандартизация x′ = (x − μ) / s
возврат весов w_j = w′_j / s_j, b = b′ − Σ w′_j · μ_j / s_j
сигмоида σ(z) = 1 / (1 + e^(−z)), 0 < σ(z) < 1
binary cross-entropy L = −[ y · ln p + (1 − y) · ln(1 − p) ], p = σ(z)
её производная ∂L/∂z = p − y
обозначения L — функция потерь, ∂ — знак частной производной
w — вес, b — свободный член, n — число примеров
μ — среднее признака, s — его разброс
z — выход линейной части, p = σ(z) — вероятность
y — верная метка, 1 или 0
Словарь
Функция потерь (loss) — число, которое тем больше, чем хуже модель предсказывает.
MSE — среднее квадратов отклонений прогноза от факта.
Производная — наклон касательной к графику в точке.
Частная производная — производная по одной переменной при фиксированных остальных.
Численная производная — наклон секущей через две близкие точки.
Центральная разность — численная производная по точкам с обеих сторон от w.
Градиент — вектор частных производных; указывает направление наиболее быстрого роста функции.
Скорость обучения (lr) — множитель при градиенте в правиле шага.
Расходимость — рост ошибки от шага к шагу из-за слишком большого lr.
Обусловленность — отношение скорости роста ошибки вдоль самого крутого направления к скорости роста вдоль самого пологого; единица — круглая чаша, большое значение — вытянутый овраг.
Стандартизация — приведение признака к виду (x − μ) / s.
Классификация — задача, где ответом является класс, а не число.
Сигмоида — функция, переводящая любое число в значение от 0 до 1.
Binary cross-entropy — функция потерь для двух классов.
Batch size — число примеров, по которым считается одно обновление весов.
Эпоха — один полный проход по всей обучающей выборке.
Оптимизатор — часть библиотеки, которая обновляет веса по градиенту.