Введение:
В машинном обучении цель состоит в том, чтобы найти определенные типы шаблонов. Для этого вам необходимо обучить модель над набором данных с помощью алгоритмов, чтобы модель могла учиться на этих данных. После обучения модель можно использовать для прогнозирования на основе других данных, которых она раньше не видела.
Например, мы можем использовать модель машинного обучения, чтобы предсказать, болен ли пациент диабетом или здоров, в зависимости от таких характеристик, как артериальное давление, вес и т. Д.
У каждой модели машинного обучения есть параметры. Они очень важны и определяют, как выглядит модель.
Оценка максимального правдоподобия (MLE) - это метод оценки параметров модели. Этот метод оценки используется очень часто.
Необходимый фон:
Распределения вероятностей, функции плотности, события, независимость между случайными величинами, совместная вероятность.
Как это работает?
Чтобы оценить параметры с использованием метода максимального правдоподобия, нам нужно, прежде всего, определить функцию правдоподобия, чтобы вычислить условную вероятность наблюдения выборки данных с учетом распределения вероятностей и параметров распределения.
Функция правдоподобия:
Функция правдоподобия - это функция параметров статистической модели, рассчитанных на основе наблюдаемых данных.
Слова «вероятность» и «вероятность» имеют разные значения. Действительно, «вероятность» представляет собой вероятность события в соответствии с моделью без конкретной ссылки на наблюдаемые данные. А «правдоподобие» описывает правдоподобие значения параметров модели при наблюдении реализаций случайной величины.
Предположим, что совместная функция плотности вероятности вашей выборки X = (X1,…, Xn) равна f (x | θ), где θ - вектор параметров. X = x - наблюдаемая точка выборки. Тогда функция θ:
L (θ | x) = f (x | θ) - функция правдоподобия.
Для лучшего понимания, если мы находимся в случае, когда L (θ1 | x) ›L (θ2 | x), то наш наблюдаемый образец x, скорее всего, наблюдался, если θ = θ1, чем если θ = θ2.
Это также означает, что наиболее вероятным значением θ между θ1 и θ2 является θ1.
Если мы предположим, что X1,…, Xn являются iid, мы также можем записать функцию правдоподобия как:
Давайте посмотрим на два примера, которые помогут вам понять.
Оценка максимального правдоподобия:
Как было сказано ранее, оценка максимального правдоподобия - это метод, который определяет значения параметров модели. Эти параметры найдены так, что они максимизируют функцию правдоподобия. Когда мы находим максимум функции правдоподобия, мы фактически находим параметры, которые с наибольшей вероятностью привели к наблюдаемым данным.
Часто, чтобы упростить задачу, мы на самом деле максимизируем логарифм функции правдоподобия. Мы называем это функцией логарифма правдоподобия.
Действительно, функция журнала преобразует умножение в сумму. Более того, максимум функции журнала также является максимумом исходной функции.
Вы можете использовать разные методы, чтобы максимизировать эту функцию. Обычно, когда это возможно, мы просто производим его и сравниваем с 0.
Визуализация:
Давайте посмотрим, как MLE работает с нормальным распределением.
Вы можете найти очень хорошее объяснение этого в этом видео:
Вывод:
Оценка максимального правдоподобия очень полезна для поиска оптимальных параметров модели машинного обучения.
Если у вас есть дополнительные вопросы, вы можете связаться со мной в LinkedIn (нажмите здесь).
