Модуль: Градиентный спуск. Основы


Итоги


  1. Функция потерь сводит качество модели к одному числу — иначе два набора весов не сравнить.
  2. MSE усиливает вклад больших ошибок за счёт квадрата.
  3. Производная показывает наклон функции в точке.
  4. Градиент состоит из частных производных и указывает направление наиболее быстрого роста функции.
  5. Для уменьшения функции потерь движутся против градиента.
  6. Слишком большой lr может привести к расходимости, слишком маленький — к очень медленному обучению.
  7. Аналитический и численный градиенты должны совпадать с учётом численной погрешности.
  8. Признаки с сильно различающимися масштабами затрудняют градиентный спуск.
  9. Стандартизация приводит признаки к сопоставимому масштабу и делает овраг менее вытянутым.
  10. Для бинарной классификации удобно сочетать сигмоиду и binary cross-entropy.
  11. Для больших выборок часто используют mini-batch обучение: градиент по группе примеров — это шумная оценка полного градиента.

     

Обсуждения (0)
Загрузка...
Чтобы оставить комментарий, необходимо авторизоваться
💬
Пока нет комментариев. Будьте первым!
Решения (0)

Решения:

Нет доступных решений