Сравнение оптимизаторов Keras на GAN

Переменные настройки:

Скорость обучения установлена на 0,002, и все параметры установлены по умолчанию. Обучено 2000 эпох и 256 размер партии.

Сравниваются оптимизаторы:

SGD

Оптимизатор стохастического градиентного спуска.

Включает поддержку импульса, снижения скорости обучения и импульса Нестерова.

RMSprop

Оптимизатор RMSProp.

Адаград

Оптимизатор Adagrad.

Adagrad - это оптимизатор со скоростью обучения, зависящей от параметра, которая адаптирована в зависимости от того, как часто параметр обновляется во время обучения. Чем больше обновлений получает параметр, тем меньше обновлений.

Ададелта

Оптимизатор Adadelta.

Adadelta - это более надежное расширение Adagrad, которое адаптирует скорость обучения на основе движущегося окна обновлений градиента, вместо того, чтобы накапливать все прошлые градиенты. Таким образом, Adadelta продолжает обучение, даже если было сделано много обновлений. По сравнению с Adagrad, в исходной версии Adadelta вам не нужно устанавливать начальную скорость обучения. В этой версии можно установить начальную скорость обучения и коэффициент затухания, как и в большинстве других оптимизаторов Keras.