Оглавление:-
· Лассо-регрессия :-
· Как лассо-регрессия выполняет выбор признаков?
· 5 ключевых понятий гребневой регрессии :-
Лассо-регрессия:-
Лассо-регрессия, также известная как регуляризация L1, представляет собой метод регуляризации, используемый в моделях линейной регрессии. Лассо-регрессия используется для выбора признаков.
Функция стоимости:- J(θ) = (1/2m) * Σ[(h(θ, xᵢ) — yᵢ)²]
Как регрессия Лассо выполняет выбор объектов?
В Лассо-регрессии мы вводим два параметра в функцию стоимости.
- λ
- |(Σнаклон)|
Функция стоимости будет выглядеть так: -
J(θ) = (1/2m) * Σ[(h(θ, xᵢ) — yᵢ)²] + λ * |(Σнаклон)|; где,
λ = Гиперпараметр
Σ(наклон)= сумма абсолютных значений коэффициентов (наклонов).
Когда мы добавляем параметр к функции стоимости, менее коррелированный признак становится нулевым.
Лассо-регрессия показывает, какой признак не важен для расчета значения y.
Для лучшего понимания обратитесь к следующему коду и набору данных:-
5 ключевых понятий гребневой регрессии:
1. Как это влияет на коэффициенты?
При более высоком значении λ коэффициенты признаков становятся равными нулю, что не важно при вычислении выходного признака.
2. Более высокие значения оказывают большее влияние
Чем выше значения коэффициента, тем выше уровень коэффициентов становится нулевым.
3. Влияние регуляризации на компромисс между смещением и дисперсией: -
значение смещения зависит от λ.
- Низкое значение лямбды приводит к увеличению смещения и уменьшению дисперсии (недооснащение)
- Высокое значение лямбды приводит к уменьшению смещения и увеличению дисперсии (переоснащение)
4. Влияние λ на функцию потерь
Функция потерь :-J(θ) = (1/2m) * Σ[(ŷᵢ — yᵢ)²] + λ*|Σ(наклон)²|
по мере увеличения значения λ функция потерь смещается к началу координат и становится нулевой.
5. Почему лассо-регрессия приводит к разреженности?
Разреженность:приболее высоком значении λкоэффициенты множества входных функций становятся равными нулю.
потому что,
В лассо член λ находится в числителе.
В гребне член λ находится в знаменателе.
Для лучшего понимания обратитесь к следующему коду и набору данных:-
Подходя к концу нашего исследования лассо-регрессии, я хочу выразить искреннюю благодарность всем читателям, которые присоединились ко мне в этом путешествии. Ваше любопытство, страсть и стремление расширить свои знания действительно вдохновляют. Благодарим вас за участие в раскрытии секретов и потенциала разреженных моделей и лассо-регрессии.
Пусть магия лассо-регрессии и дальше поможет вам в ваших начинаниях, основанных на данных, давая вам возможность открывать новые идеи и делать эффективные прогнозы. Всегда помните: простота и интерпретируемость способны изменить мир науки о данных.
Спасибо за участие в этом увлекательном исследовании!
