Штучний інтелект, нейронні мережі та спектральні властивості випадкових матриць (за матеріалами наукового повідомлення на засіданні Президії НАН України 28 травня 2025 р.)

Abstract

У доповіді наведено результати досліджень штучного інтелекту на основі нейронних мереж, властивостей нейронних мереж та використання теорії випадкових матриць. Ці результати, отримані у відділі математичної фізики Фізико-технічного інституту низьких температур ім. Б.І. Вєркіна НАН України, можуть бути застосовані до побудови глибоких нейронних мереж.The report is devoted to recent results in the field of Artificial Intelligence and Neural Networks (NNs), both based on the spectral properties of random matrices. Nowadays, the development of Artificial Intelligence is skyrocketing, but we still lack an understanding of how it works. One of the modern approaches to solving this problem is the application of advanced mathematical theories, in particular, Random Matrix Theory. We present our results on the spectral properties of random matrices, obtained at the Department of Mathematical Physics at B. Verkin Institute for Low Temperature Physics and Engineering of the National Academy of Sciences of Ukraine. These matrices are closely connected with NNs: weight matrices of trained NNs could be represented in the form W = R + S, where R is random and S is deterministic. The spectrum of such matrices plays a key role in the rigorous underpinning of the novel pruning technique based on Random Matrix Theory.