В этом руководстве показано, как самостоятельно создать ResNet. Увеличение глубины сети не достигается простым сложением слоев вместе. Глубокие сети трудно обучать из-за пресловутой «проблемы исчезающего градиента» — поскольку градиент распространяется обратно на более ранние слои, повторное умножение может сделать градиент окончательно малым. ResNet использует технику под названием «Остаток» для решения «проблемы исчезающего градиента». При наложении слоев мы можем использовать..