Часть 2: Давайте закодируем это
Логистическая регрессия — это статистический метод, используемый для задач бинарной классификации. Это тип регрессионного анализа, в котором зависимая переменная является категориальной, а цель состоит в том, чтобы предсказать вероятность определенного класса. Логистическая регрессия моделирует взаимосвязь между зависимой переменной и одной или несколькими независимыми переменными с помощью логистической функции (также известной как сигмовидная функция).
Логистическая функция выводит значение от 0 до 1, которое представляет прогнозируемую вероятность положительного класса. Модель обучается путем оптимизации ее параметров (весов), чтобы минимизировать разницу между прогнозируемыми вероятностями и фактическими метками классов в обучающих данных. Затем оптимальные веса используются для прогнозирования новых, невидимых данных.
Логистическая регрессия дает оценку того, принадлежит ли данная выборка xк классу 1 или нет.
Это означает, что целевая функция принимает вид
Логистическая регрессия сочетает в себе две основные идеи: линейную классификацию и оценку логистической вероятности. Это означает, что мы вводим линейную комбинацию признаков в модель логистической вероятности. Это означает, что условный класс становится
где θ – объединенный вектор весов wи смещенияb. Используяθ, становится проще вычислить лучший оптимизатор с меньшим количеством строк кода.
Теперь у нас есть обучающие данные и метки. Как нам найти оптимальное θтакое, чтобы оно хорошо количественно определяло условный класс для класса 1?
Пусть p(y| x;θ)будет условной плотностью массы y при заданном x, который определяется как
Это означает, что мы можем записать нашу функцию правдоподобия L(θ) как
где
Чтобы упростить произведение, мы можем использовать логарифмическую вероятность ℓ(θ) = log(L(θ))
Так как log является строго возрастающей функцией и вогнутой, то вместо минимизатора для нашей целевой функции существует максимизатор. Поэтому мы используем отрицательное логарифмическое правдоподобие, чтобы сделать целевую функцию вогнутой, чтобы мы могли найти оптимальный минимизатор нашей целевой функции. Также для учета переобучения мы используем параметр регуляризации λ ›0. Поэтому наша функция цели/затрат J(θ)примет вид
Минимизируя эту функцию стоимости, мы можем найти оптимальное значение θ. Существует много методов, таких как градиентный спуск, метод Ньютона-Рафсона, метод тяжелого мяча и т. д. Наш основной акцент будет сделан на градиентном спуске и его различных типах.
В следующей части мы проверим, как можно минимизировать нашу целевую функцию J(θ)и найти оптимальноеθчто он определяет условность класса.
Логистическая регрессия — это простой и эффективный алгоритм, который широко используется для задач бинарной классификации. Это особенно полезно для наборов данных, где связь между независимыми переменными и зависимой переменной является примерно линейной. Некоторые распространенные приложения логистической регрессии включают прогнозирование вероятности того, что клиент совершит покупку, классификацию электронных писем как спама или не спама и диагностику заболеваний на основе симптомов.
Важно отметить, что логистическая регрессия предполагает линейную связь между независимыми переменными и логарифмическими шансами зависимой переменной и может не подходить для нелинейных отношений. В таких случаях могут оказаться более подходящими другие алгоритмы, такие как деревья решений или машины опорных векторов, которые мы увидим позже.
