Исследование стохастических градиентных методов оптимизации алгоритмов обучения искусственных нейронных сетей

Abstract

Проанализированы стохастические градиентные методы оптимизации обучения искусственных нейронных сетей. Значительное внимание уделено методу SAG (стохастического среднего градиента).

Проаналізовано стохастичні градієнтні методи оптимізації навчання штучних нейронних мереж. Значна увага приділена методу SAG (стохастичного середнього градієнта).

Stochastic gradient methods for optimizing the learning of artificial neural networks are analyzed. Considerable attention is paid to the SAG (stochastic mean gradient method).