10.18.Регуляризация

• Что делает регуляризация?


  Минимизирует сложность модели, добавляет штраф на loss function, уменьшает переобучение (добавляет больше смещения, чтобы уменьшить дисперсию)
• Регуляризация отвечает за поиск


  оптимального гиперпараметра для штрафа
• LASSO-регрессия. $L_1$


  Использует абсолютные значения величин коэффициентов
• RIDGE-регрессия. $L_2$


  Использует квадраты величин коэффициентов
• Лассо

  Зануляет коэффициенты
• Elastic Net


  Совмещает $L_1$и $L_2$, добавляет параметр $\alpha$ для пропорции между компонентами $L_1, L_2$