Машинное обучение | Контролируемое обучение
Насколько хорош ваш ИИ? модель? С инженерной точки зрения очень важно точно определить точность модели. Однако новая построенная модель может дать точность почти 100%, и ваш инстинкт, скорее всего, подскажет вам, что что-то не так. Что-то действительно не так, но есть способы это исправить — Регрессия гребня и Регрессия Лассо.
Переобучение — это то, как мы определяем проблему, предложенную выше. Переоснащение происходит, когда точность обучения модели выше, чем точность ее тестирования, что означает, что точность модели фактически неприменима к тестированию или любому невидимому набору данных. Регуляризация, которая содержит методы регрессии гребня и регрессии лассо, вводит ограничения.
Регуляризация находит лучшую модель, подходящую для набора данных для обучения и тестирования, и в конечном итоге обеспечивает убедительные показатели точности. Интуитивно понятно, что Ридж-регрессия и Лассо-регрессия предназначены для коррекции модели машинного обучения и соответственно могут представлять уравнение как «дополнение».
Уравнения в регуляризации
Поясним это математически. Например, мы можем поместить регрессию гребня или регрессию лассо в уравнение линейной регрессии, алгоритм построения модели, чтобы предотвратить переоснащение.
Уравнение линейной регрессии
Уравнение гребневой регрессии
Уравнение регрессии Лассо
Вот как модель линейной регрессии выглядит на графике без регуляризации
Как видно на рис. 1, синяя линия, представляющая нашу модель, идеально ложится на каждую точку образца. Это объясняет, почему мы получаем почти 100% точности в новой модели, но это число ни на что не указывает, поскольку оно необъективно. Однако, если мы поместим регуляризацию в уравнение линейной регрессии, мы получим оранжевую линию на рисунке 1.
Новое уравнение (с регрессией хребта)
На рисунке 2, когда имеется больше выборочных точек и требуется более сложная полиномиальная функция, гребневая регрессия компенсирует потерю коэффициентов (w_1, w_2, …, w_n) в линейной регрессии. Другими словами, точность модели не пострадает от потери в линейной регрессии, когда коэффициенты станут больше, потому что гребневая регрессия использует одни и те же коэффициенты, и все они связаны.
Вот результат включения регрессии хребта в линейную регрессию
На рис. 3 мы получаем взамен наилучшую подгонку модели, что является той точностью, которую мы хотим получить. Лассо-регрессия также может выполнять аналогичную настройку, показанную на рисунке 3. Итак, в чем разница между гребневой регрессией и лассо-регрессией?
Ридж-регрессия против регрессии Лассо
На основе уравнения регрессии Лассо он компенсирует коэффициенты с абсолютным значением. На рисунке 4 регрессия Лассо представляет собой построение линии за линией, и в конечном итоге она выглядит как квадрат, а регрессия хребта представляет собой уравнение круга.
Лассо-регрессия вычисляет пересечение двух линий, пересекающихся на оси (любой из них), что означает, что она не содержит коэффициентов со значением 0. Следовательно, она может фильтровать функции (коэффициенты равны 0) в линейной регрессии, что помогает нам понять модель лучше.
Заключение
На протяжении всей статьи неоднократно упоминалась линейная регрессия, и связь между ней и регуляризацией, несомненно, близка. Таким образом, знание основ линейной регрессии может помочь понять тему этого раздела. Я также объясню больше о линейной регрессии в другой публикации.
