Машинное обучение — это ветвь искусственного интеллекта, которая позволяет машинам выполнять анализ данных и делать прогнозы. Однако, если модель машинного обучения неточна, она может делать ошибки прогнозирования, и эти ошибки прогнозирования обычно известны как предвзятость и дисперсия. В машинном обучении эти ошибки всегда будут присутствовать, поскольку всегда есть небольшая разница между прогнозами модели и фактическими прогнозами.
Ошибки машинного обучения:
В машинном обучении ошибка — это мера того, насколько точно алгоритм может делать прогнозы для ранее неизвестного набора данных. На основе этих ошибок выбирается модель машинного обучения, которая может лучше всего работать с конкретным набором данных. В основном в машинном обучении есть два типа ошибок:
- Уменьшаемые ошибки. Эти ошибки можно уменьшить, чтобы повысить точность модели. Такие ошибки могут быть дополнительно классифицированы как предвзятость и дисперсия.
- Неустранимые ошибки. Ошибки, которые нельзя устранить, создавая хорошие модели. Это мера количества шума в наших данных.
Предвзятость:
При прогнозировании возникает разница между значениями прогноза, сделанными моделью, и фактическими значениями/ожидаемыми значениями, и эта разница известна как ошибки смещения или ошибки из-за смещения.
Ошибки смещения бывают низкого или высокого смещения.
- Низкое смещение. Модель с низким смещением будет делать меньше предположений о форме целевой функции.
- Высокое смещение. Модель с высоким смещением делает больше предположений, и модель становится неспособной отразить важные особенности нашего набора данных.
Когда модель имеет большое смещение, говорят, что это недостаточная подгонка данных. Модель с высоким смещением также не может хорошо работать с новыми данными.
Дисперсия:
Изменчивость прогноза модели для данной точки данных, которая говорит нам о разбросе наших данных, называется дисперсией модели.
Ошибки дисперсии бывают либо низкой дисперсии, либо высокой дисперсии.
Низкая дисперсия означает, что предсказание целевой функции незначительно отличается от изменений в наборе обучающих данных.
Высокая дисперсия указывает на большие различия в предсказании целевой функции при изменении набора обучающих данных.
Когда модель имеет высокую дисперсию, говорят, что это Переобучение данных.
Математически:
Во-первых, давайте определим «ошибку обобщения».
В приложениях для обучения с учителем в области машинного обучения и теории статистического обучения ошибка обобщения (также известная как ошибка вне выборки) — это мера того, насколько точно алгоритм может предсказывать значения результатов для ранее невиданных данных. википедия.
Ошибка обобщения может быть измерена MSE.
Пусть переменная, которую мы пытаемся предсказать, представляет собой Y, а другие ковариаты — как X. Мы предполагаем, что между ними существует взаимосвязь, такая, что
Y=f(X) + e
Где e — член ошибки, и он обычно распределяется со средним значением 0.
Мы создадим модель f ^ (X) для f (X), используя линейную регрессию или любой другой метод моделирования.
Таким образом, ожидаемая квадратичная ошибка в точке x равна
Err(x) можно далее разложить как
Различные комбинации смещения-дисперсии
Существует четыре возможных комбинации смещения и дисперсии, которые представлены на диаграмме ниже:
- Низкое смещение, низкая дисперсия.
Сочетание низкого смещения и низкой дисперсии представляет собой идеальную модель машинного обучения. Однако практически это невозможно. - Низкое смещение, высокая дисперсия. При низком смещении и высокой дисперсии прогнозы модели в среднем непоследовательны и точны. Этот случай возникает, когда модель обучается с большим количеством параметров и, следовательно, приводит к переобучению.
- Высокое смещение, низкая дисперсия. При высоком смещении и низкой дисперсии прогнозы согласуются, но в среднем неточны. Этот случай возникает, когда модель плохо учится на обучающем наборе данных или использует несколько значений параметра. Это приводит к недообучению проблем в модели.
- Высокое смещение, высокая дисперсия.
При высоком смещении и высокой дисперсии прогнозы непоследовательны, а также в среднем неточны.
Как определить высокую дисперсию или высокую предвзятость?
Высокая дисперсия может быть выявлена, если модель имеет:
- Низкая ошибка обучения и высокая ошибка теста.
Высокое смещение можно определить, если модель имеет:
- Высокая ошибка обучения и ошибка теста почти аналогичны ошибке обучения.
Компромисс отклонения отклонения:
Если наша модель слишком проста и имеет очень мало параметров, она может иметь большое смещение и низкую дисперсию. С другой стороны, если наша модель имеет большое количество параметров, она будет иметь высокую дисперсию и низкое смещение.
Поэтому нам нужно найти правильный/хороший баланс без переобучения и недообучения данных.
Этот компромисс в сложности является причиной того, что существует компромисс между предвзятостью и дисперсией. Алгоритм не может быть более сложным и менее сложным одновременно.
Ошибка обобщения:
Чтобы построить хорошую модель, нам нужно найти хороший баланс между смещением и дисперсией, чтобы минимизировать ошибку обобщения.
Ошибка обобщения = погрешность² + дисперсия + неустранимая ошибка.
Оптимальный баланс смещения и дисперсии никогда не будет соответствовать модели больше или меньше.
Ссылки:
- Прикладной курс ИИ
- javapoint
- geeksforgeeks
Спасибо за чтение!
