Эта статья направлена ​​на то, чтобы представить концепцию пакетной нормализации с точки зрения нормализации функций и понять, почему она полезна для процесса обучения моделей глубокого обучения. Нормализация функций Одна из самых первых вещей, которую вы узнаете, погружаясь в мир ML, заключается в том, что создание функций, имеющих одинаковые диапазоны значений, может помочь сгладить процесс обучения при использовании градиентного спуска. Объяснение этого обычно заключается в..

Об этой статье Эта статья представляет собой комментарий к статье «Примеры состязательности, улучшающие распознавание изображений» [1], опубликованной 21 ноября 2019 года. Краткое содержание этой статьи выглядит следующим образом. Они предлагают AdvProp, который использует состязательные образцы, чтобы значительно повысить точность ImageNet и ImageNet с шумом. Это вид состязательного обучения, в котором используется двухпакетная нормализация. Один из них предназначен для обычных..