Сonvergence of Sequential Gradient Learning Algorithms in Neural Networks for Online Identification of Nonlinear Systems: a Special Case

Abstract

The paper deals with the asymptotic properties of an online learning procedure for identifying non-linear systems via neural networks models of these systems. The probabilistic convergence condi-tions of this procedure are presented for the special case where a nonlinearity can exactly be ap-proximated by a suitable neural network. Keywords: identification, nonlinear system, neural network, learning algorithm, stochastic environment, convergence.

Стаття стосується асимптотичних властивостей деякої процедури навчання в реальному часі для ідентифікації нелінійних систем з використанням нейронних мереж як моделей цих систем. Представлені умови ймовірносної збіжності цієї процедури для спеціального випадку, коли нелінійність може бути точно апроксимована належною нейронною мережею. Ключові слова: ідентифікація, нелінійна система, нейронна мережа, алгоритм навчання, стохастичне середовище, збіжність.

Статья касается асимптотических свойств некоторой процедуры обучения в реальном време-ни для идентификации нелинейных систем с использованием нейронных сетей в качестве моделей этих систем. Представлении условия вероятностной сходимости этой процедуры для специального случая, когда нелинейность может быть точно аппроксимирована подхо-дящей нейронной сетью.