Нейрон на основі адаптивного нечіткого перетворення для сучасних моделей штучних нейронних мереж

Abstract

Зі зростанням об’ємів даних для обробки та з ускладненням задач з обробки даних науковці та спеціалісти з індустрії поступаються складністю та швидкістю моделей штучних нейронних мереж (ШНМ) на користь покращення їх апроксимуючих здатностей. Підвищення складності моделей, зокрема збільшення глибини та кількості шарів, призводить до небажаних ефектів, наприклад, зникаючого та вибухаючого градієнтів. Комерційні моделі ШНМ часто використовують кусково-лінійні активаційні функції типу ReLU для уникнення обчислювальних складнощів та прискорення навчання. Запропоновано адаптивну кусково-лінійну активаційну функцію (Adaptive Piece-Wise Activation — APWA) як адаптивну альтернативу для фіксованих кусково-лінійних активацій. Основою APWA-функції є адаптивне нечітке перетворення вхідного сигналу, реалізоване множиною функцій належності з адаптивними параметрами підсилення вихідного сигналу.

With the growing volume of data to process and the increasing complexity of data processing tasks, scientists and industry specialists are prioritizing the approximation capabilities of artificial neural network (ANN) models over their complexity and speed. The increase in model complexity, particularly the depth and number of layers, leads to undesirable effects such as vanishing and exploding gradients. Commercial ANN models often use piecewise linear activation functions, such as ReLU, to avoid computational difficulties and speed up training. An adaptive piecewise linear activation function (Adaptive Piece-Wise Activation — APWA) is proposed as an adaptive alternative to fixed piecewise linear activations. The foundation of the APWA function is an adaptive fuzzy transformation of the input signal, implemented with a set of membership functions and adaptive parameters for enhancing the output signal.