Регуляризация — это набор методов, используемых в машинном обучении для предотвращения переобучения модели обучающим данным. Переобучение происходит, когда модель слишком сложна и изучает шум в обучающих данных, что приводит к снижению производительности на новых, невидимых данных. Регуляризация — одна из важнейших концепций машинного обучения. Регуляризация в машинном обучении предотвращает переоснащение модели. Это в основном уменьшает или упорядочивает коэффициент признаков до нуля. Термин регуляризация относится к набору методов, которые упорядочивают обучение на основе определенных функций традиционных алгоритмов. Он нормализует и усредняет веса, связанные с функцией, чтобы алгоритмы не полагались только на несколько функций для прогнозирования результата. Этот метод помогает избежать проблемы переобучения.
Регуляризация работает путем добавления штрафного члена к целевой функции модели, что побуждает модель иметь меньшие веса или меньше ненулевых весов. Этот штрафной срок может принимать различные формы, такие как регуляризация L1 (также известная как Lasso), регуляризация L2 (также известная как Ridge) или их комбинация.
Регуляризация L1 наказывает сумму абсолютных значений весов, что побуждает модель иметь разреженные веса (т. Е. Многие веса устанавливаются равными нулю). Регуляризация L2 штрафует сумму квадратов значений весов, что побуждает модель иметь малые веса. В сочетании регуляризация L1 и L2 называется регуляризацией эластичной сети.
Степень регуляризации контролируется гиперпараметром, который необходимо настроить с помощью набора проверок или перекрестной проверки. Цель состоит в том, чтобы найти правильный баланс между хорошей подгонкой обучающих данных и их обобщением на новые данные.
Регуляризация — это мощный инструмент для повышения производительности моделей машинного обучения, особенно в условиях высокой размерности, когда количество признаков намного превышает количество выборок.
