Одне узагальнення LSTM-нейронних мереж

Abstract

Основна мета публікації — розробка узагальненої LSTM-нейронної мережі з урахуванням передісторії скінченної глибини. Більшість робіт з даного напрямку присвячено багатопотоковим узагальненням з наявністю кореляції між потоками, тобто розглядається розширення LSTM-моделі в ширину аналогічно до панельних даних у часових рядах. Проводиться розширення моделі в глибину, що дозволить враховувати періодичні компоненти часових рядів та інші детерміновані складові процесу, тобто без передобробки даних. Як показано в прикладі, розробка даної моделі дозволяє розширити використання класичних LSTM-мереж на динамічні системи з чітко вираженою періодичною складовою.

The main goal of the publication is the development of a generalized LSTM neural network considering the finite depth of history. Most works in this area are dedicated to multi-stream generalizations with correlations between streams, meaning the extension of the LSTM model in width, similar to panel data in time series. The model is extended in depth, allowing the consideration of periodic components of time series and other deterministic components of the process, i.e., without data preprocessing. As demonstrated in the example, the development of this model expands the use of classical LSTM networks to dynamic systems with a clearly defined periodic component.