Обобщенные градиенты в задачах динамической оптимизации, оптимального управления и машинного обучения

Abstract

Рассмотрены негладкие невыпуклые задачи динамической оптимизации, оптимального управления (в дискретном времени), в том числе управления с обратной связью, и машинного обучения. Прослежена аналогия между задачами управления дискретными динамическими системами и задачами обучения многослойных нейронных сетей с негладкими целевыми функционалами и связями. Обоснованы методы вычисления обобщенных градиентов для таких систем на основе функций Гамильтона - Понтрягина. Градиентные (стохастические) алгоритмы оптимального управления и обучения распространяются на невыпуклые негладкие динамические системы.

Розглянуто негладкі неопуклі задачі динамічної оптимізації, оптимального керування (у дискретному часі), зокрема керування зі зворотним зв'язком, і машинного навчання. Простежено аналогію між задачами керування дискретними динамічними системами та задачами навчання багатошарових нейронних мереж з негладкими цільовими функціоналами та зв'язками. Обгрунтовано методи обчислення узагальнених градієнтів для таких систем на основі функцій Гамільтона Понтрягіна. Градієнтні (стохастичні) алгоритми оптимального керування і навчання поширюються на неопуклі негладкі динамічні системи.

Problems of nonsmooth nonconvex dynamic optimization, optimal control (in discrete time), including feedback control, and machine learning are considered from a common point of view. An analogy between controlling discrete dynamical systems and multilayer neural networks learning problems with nonsmooth functionals and connections is traced. Methods for computing subgradients for such systems based on the Hamilton–Pontryagin functions are developed. Gradient (stochastic) algorithms for optimal control and learning are extended to nonconvex nonsmooth systems.