Сучасні стохастичні квазіградієнтні алгоритми оптимізації

Abstract

Стохастична оптимізація стала провідним методом у різних галузях, таких як машинне навчання, нейронні мережі та обробка сигналів. Ці задачі спрямовані на мінімізацію цільової функції із зашумленими та невизначеними даними. Всебічно порівнюються сучасні квазіградієнтні методи стохастичної оптимізації, ілюструються їхні основні принципи, властивості збіжності та практичні застосування. Вводяться основні поняття градієнтного спуску, стохастичної апроксимації та оптимізації, після чого детально пояснюються методи оптимізації. Поглиблено аналізуються адаптивні стохастичні градієнтні методи, акцентується увага на їхній здатності динамічно змінювати швидкість навчання залежно від структури задачі. Досліджуються узагальнення цих методів на негладкі випадки, описуються проблеми, що виникають при негладких оптимізаційних ландшафтах.

Stochastic optimization has become a leading method in various fields such as machine learning, neural networks, and signal processing. These problems aim at minimizing the objective function with noisy and uncertain data. The article comprehensively compares modern quasi-gradient methods of stochastic optimization, illustrates their basic principles, convergence properties, and practical applications. Basic concepts of gradient descent, stochastic approximation, and optimization are introduced, followed by detailed explanations of optimization methods. Adaptive stochastic gradient methods are analyzed in depth, focusing on their ability to dynamically adjust learning rates depending on the problem structure. Extensions of these methods to nonsmooth cases are studied, describing challenges in nonsmooth optimization landscapes.