Давайте разберемся, что такое компромисс смещения и дисперсии
Давайте сначала узнаем о том, что такое недообучение и переоснащение:
Недостаточная подгонка модели. Когда модель не может точно уловить взаимосвязь между зависимой и независимой переменными и генерирует высокую ошибку как на обучающем наборе, так и на тестовом наборе.
Переоснащение модели: когда модель изучает каждую деталь обучающих данных, включая шум (выбросы), которые негативно влияют на нашу модель, которая не может предсказать невидимые данные.
Оптимальная модель:модель лучше работает с обучающими данными и способна точно прогнозировать невидимые данные с наименьшей ошибкой как для обучающих, так и для невидимых данных.
Что такое высокое смещение?
Высокое смещение, также известное как недообучение, означает, что модель машинного обучения недостаточно усвоила набор данных. Недообучение происходит, когда модель недостаточно сложна.
Что такое высокая дисперсия?
Высокая дисперсия, также известная как переобучение, означает, что модель слишком сильно фокусируется на конкретных шаблонах в наборе обучающих данных и плохо обобщает невидимые данные. Переоснащение может произойти, когда модели слишком сложны.
Компромисс между смещением и дисперсией:
В общем, мы хотим иметь наименьшее возможное смещение и дисперсию, но в большинстве случаев вы не можете уменьшить одно, не увеличив другое; это называется компромиссом смещения и дисперсии.
Основываясь на отношениях смещения и отклонения, модель может иметь 4 обстоятельства: (Обратите внимание, что это отношение относится к регрессионной модели)
- Высокое смещение и высокая дисперсия (наихудший случай)
- Низкое смещение и низкая дисперсия (в лучшем случае)
- Низкое смещение и высокая дисперсия (переобучение)
- Высокое смещение и низкая дисперсия (недообучение)
Высокое смещение и низкая дисперсия (модель недообучения)
Модель с высоким смещением и низкой дисперсией также известна как модель недообучения. Как видно из рисунка выше, мы видим, что в случае модели Underfitting прогнозируемые данные очень далеки от реальных данных, а расстояние между прогнозируемыми наблюдениями очень меньше, поэтому она называется с высоким смещением и низкой дисперсией. Точность обучения будет низкой, что означает, что модель не сможет узнать подробности из данных обучения, и это даст высокую ошибку теста на невидимых данных.
Низкое смещение и высокая дисперсия (модель переобучения)
Модель с низким смещением и высокой дисперсией также известна как модель переобучения. Как видно из рисунка выше, мы видим, что в случае модели переобучения прогнозируемые данные очень близки к реальным данным, а расстояние между прогнозируемыми наблюдениями больше, поэтому она называется с низким смещением и высокой дисперсией. Точность обучения для этой модели будет высокой, что означает низкую ошибку обучения. Но высокая точность обучения не означает, что ваша модель сможет предсказывать невидимые данные. Когда модель изучает каждую деталь в обучающих данных, включая шум (выбросы), которые негативно влияют на нашу модель, которая не может предсказать невидимые данные. Проще говоря, если точность обучения высока, а точность теста низка по сравнению с точностью обучения, то модель переобучена.
Низкое смещение и низкая дисперсия (лучший случай)
Низкое смещение и низкая дисперсия являются целями каждого метода машинного обучения прогнозного моделирования. В результате алгоритм должен быть в состоянии делать точные прогнозы. Параметризация алгоритма машинного обучения часто является борьбой за то, чтобы сбалансировать предвзятость и изменчивость. Low Bias и Low Variance обеспечат максимально возможную точность модели.
