Збіжність методу операторної екстраполяції

Abstract

Одним з популярних напрямів сучасного прикладного нелінійного аналізу є дослідження варіаційних нерівностей та розробка методів апроксимації їх розв’язків. Багато актуальних проблем дослідження операцій, оптимального керування та математичної фізики можуть бути записані у формі варіаційних нерівностей. Негладкі задачі оптимізації можна ефективно розв’язувати, якщо їх переформулювати як сідлові задачі, а до останніх застосувати сучасні наближені алгоритми розв’язання варіаційних нерівностей. З появою генеруючих змагальних нейронних мереж (generative adversarial network, GAN) стійкий інтерес до застосування та дослідження ітераційних алгоритмів розв’язання варіаційних нерівностей виник і в середовищі фахівців в галузі машинного навчання. Дана робота присвячена дослідженню двох нових наближених алгоритмів з брегманівською проєкцією для розв’язання варіаційних нерівностей в гільбертовому просторі. Перший алгоритм, який ми називаємо алгоритмом операторної екстраполяції, отриманий заміною в методі Маліцького—Тама евклідової метрики на дивергенцію Брегмана. Привабливою рисою алгоритму є всього одне обчислення на ітераційному кроці проєкції Брегмана на допустиму множину. Другий алгоритм є адаптивним варіантом першого, де використовується правило поновлення величини кроку, що не вимагає знання ліпшицевих констант і обчислень значень оператора в додаткових точках. Для варіаційних нерівностей з псевдомонотонними, ліпшицевими та секвенційно слабко неперервними операторами, що діють в гільбертовому просторі, доведені теореми про слабку збіжність методів.

One of the popular areas of the modern applied nonlinear analysis is the study of variational inequalities and the development of methods for approximating their solutions. Many important problems of the research of operations, optimal control theory, and mathematical physics can be written in the form of variational inequalities. Non-smooth optimization problems can be solved effectively, if they are reformulated as saddle problems, and modern approximate algorithms for solving the variational inequalities are applied to the obtained saddle problems. With the advent of generating adversarial neural networks (GANs), the strong interest in the use and investigation of iterative algorithms for solving the variational inequalities arose in the ML-community. This paper is devoted to the study of two new approximate algorithms with the Bregman projection for solving the variational inequalities in a Hilbert space. The first algorithm, which we call the operator extrapolation algorithm, is obtained by replacing the Euclidean metric in the Malitsky–Tam method with the Bregman divergence. An attractive feature of the algorithm is only one computation at the iterative step of the Bregman projection onto the feasible set. The second algorithm is an adaptive version of the first, where the used rule for updating the step size does not require knowledge of Lipschitz constants and the calculation of operator values at additional points. For variational inequalities with pseudo-monotone, Lipschitz-continuous, and sequentially weakly continuous operators acting in a Hilbert space, some weak convergence theorems are proved.