В моем предыдущем посте я обсуждал, как работает градиентный спуск и его варианты. Но эти методы оптимизации могут работать не во всех случаях. Есть несколько причин, по которым SGD или пакетный SGD не стоит использовать каждый раз. эти методы оптимизации могут не работать для невыпуклых целевых функций из-за седловых точек, с которыми мы часто сталкиваемся в глубоком обучении. 2. Все функции не имеют одинаковой частоты, поэтому одинаковая скорость обучения не может..

Давайте сделаем еще один шаг и изучим глубокую математику алгоритма градиентного спуска. Эта статья является второй частью моей предыдущей статьи, поэтому, если вы еще не читали ее, прочтите ее перед этой. Если вы знакомы с алгоритмом градиентного спуска, вы можете пропустить часть 1. вот ссылка части-1 ( https://medium.com/mathematics-and-ai/mathematics-and-ai-optimisation-algorithms-gradient-descent-algorithm-781e350027e1 ) В предыдущей статье мы видели, как он вычисляет значения,..