Публикации по теме 'gradient-descent'


Понимание векторизации градиентного спуска на 2-й неделе курса машинного обучения Эндрю Нг
На отметке 7:27 на видео векторизации на неделе 2 Эндрю раскрывает векторизованную реализацию для градиентного спуска в линейной регрессии. Я объясню части, которые я нашел сложными, и, надеюсь, это тоже поможет вам! Цель
Понимание градиентного спуска
Машинное обучение Понимание градиентного спуска Достигнем глобального минимума Алгоритмы оптимизации - это алгоритмы, которые предназначены для схождения к решению. Решением здесь может быть локальный минимум или глобальный минимум за счет минимизации функции стоимости, например «L». Что это за функция стоимости? Функция стоимости - это показатель того, насколько хорошо наша модель делает прогнозы. Форма функции затрат определяет нашу цель оптимизации. Если форма функции..
XGBoost: секретное оружие успеха машинного обучения!
Раскройте весь потенциал ваших данных с помощью этого мощного и универсального алгоритма Вы когда-нибудь задумывались, как специалистам по данным удается решать сложные проблемы и делать точные прогнозы с, казалось бы, легкой легкостью? Ответ кроется в мощном и универсальном алгоритме, который штурмом покорил мир машинного обучения — XGBoost. В этой статье мы углубимся в волшебный мир XGBoost и узнаем, как этот революционный инструмент может ускорить анализ данных и…
DeepMind исследует связь между метаобучением на основе градиента и выпуклой оптимизацией
Вторая натура человека, метаобучение — это мощный, но сложный метод для систем ИИ, который позволяет модели мета-обучать параметры параметризованного алгоритма путем самооценки его производительности и адаптации изученного параметризованного алгоритма к заданной задаче. Хотя парадигма метаобучения оказалась успешной…
Закрытая форма vs. Градиентный спуск
Базовый случай: y = wx + e Мы предполагаем, что зависимая переменная y имеет указанную выше линейную связь с независимой переменной x. Учитывая n наблюдений за парами ‹xi, yi›, как мы можем найти вес w , который лучше всего соответствует уравнению? Откуда мы знаем, что w лучше? Люди обычно смотрят на квадраты ошибок, для чего требуется лучший w , который минимизирует \sum (yi — wxi)². Простая интерпретация \sum (yi — wxi)² — это квадрат расстояния между эмпирическими точками и..
Адаптивный метод скорости обучения без параметров от Samsung и Meta AI соответствует настроенному вручную оптимизатору Адама
Оптимизация является важным инструментом для минимизации ошибок, затрат или потерь при подборе алгоритма машинного обучения. Одной из ключевых задач оптимизатора является поиск подходящей скорости обучения, которая важна для скорости сходимости и точности конечных результатов. Несмотря на хорошую производительность некоторых оптимизированных вручную оптимизаторов, эти подходы обычно требуют огромного опыта экспертов, а также напряженных усилий. Поэтому «безпараметрические» методы..
Понимание пакетной нормализации
Эта статья направлена ​​на то, чтобы представить концепцию пакетной нормализации с точки зрения нормализации функций и понять, почему она полезна для процесса обучения моделей глубокого обучения. Нормализация функций Одна из самых первых вещей, которую вы узнаете, погружаясь в мир ML, заключается в том, что создание функций, имеющих одинаковые диапазоны значений, может помочь сгладить процесс обучения при использовании градиентного спуска. Объяснение этого обычно заключается в..