Публикации по теме 'optimization-algorithms'


SNRAdam: улучшение оптимизатора Adam
Оптимизаторы являются важными инструментами в стеке моделирования. Одним из наиболее широко используемых оптимизаторов является оптимизатор Adam, представленный Kingma и Ba [ бумага ]. Этот оптимизатор отслеживает скользящие средние градиента (термин импульса) и второй момент (термин энергии) градиента с использованием фильтров экспоненциального скользящего среднего (EMA) и использует квадратный корень из термина энергии для нормализации члена импульса. прежде чем сделать шаг. Это..

ML From Scratch: классификатор логистической регрессии [Часть 1: интуиция и целевая функция]
Часть 2: Давайте закодируем это Логистическая регрессия — это статистический метод, используемый для задач бинарной классификации. Это тип регрессионного анализа, в котором зависимая переменная является категориальной, а цель состоит в том, чтобы предсказать вероятность определенного класса. Логистическая регрессия моделирует взаимосвязь между зависимой переменной и одной или несколькими независимыми переменными с помощью логистической функции (также известной как сигмовидная..