Двовимірна модель навчання у спайкових нейронних мережах з гомеостазом та навчанням з підкріпленням

Abstract

Cкладність молекулярних механізмів, що підтримують формування пам’яті, заважає побудові простих, але вичерпних моделей для ефективної симуляції великих нейронних мереж. Запропоновано феноменологічну модель правила навчання, що описує силу зв’язку через повільну і швидку змінні. Їх взаємодія дозволяє об’єднати навчання без учителя та навчання з підкріпленням. Результати симуляції свідчать про стабільність сили зв’язку завдяки взаємодії двох змінних та швидкій формі гомеостатичної пластичності. Мультиплікативна форма масштабування ваг зберігає патерни пам’яті статистично більш частих стимулів. Подібним чином до підходу допоміжних слідів модель відслідковує нещодавні зміни сили зв’язку між нейронами і дозволяє їх підсилити. Наведено міркування про можливу біологічну інтерпретацію запропонованої моделі, що включає швидке переміщення рецепторів до мембрани і стабілізацію їх у кластери.

Сложность молекулярных механизмов, которые поддерживают формирование памяти, затрудняет построение простых, но точных и исчерпывающих моделей для эффективного моделирования больших нейронных сетей. Предложена феноменологическая модель правила обучения, описывающая силу связи нейронов посредством медленной и быстрой переменных. Их взаимодействие позволяет сочетать обучение с подкреплением и обучение без учителя. Результаты показывают стабильность силы связи за счет сочетания двух переменных и быстрой гомеостатической пластичности. Мультипликативный способ масштабирования весов сохраняет паттерны памяти статистически более частых входных сигналов. Схожим образом к подходу дополнительных следов модель отслеживает последние изменения весов и позволяет их усилить. Приведены соображения о возможной биофизической интерпретации модели, которая включает в себя быстрое перемещение рецепторов к мембране и стабилизации их в кластеры.

The huge complexity of molecular mechanisms that support memory formation makes it difficult to build simple, but precise and sufficient models for an efficient simulation of large neural networks. In this paper, we propose the phenomenological model of a learning rule that describes the synaptic strength via slow and fast variables. Two variables interact with each other in a bidirectional manner that allows to combine the reward and unsupervised learning. Results show the stability of synaptic strength due to coupling of two variables and fast homeostatic plasticity. The multiplicative approach of synaptic scaling preserves memory patterns of statistically more frequent input signals. Similar to the eligibility traces approach, the model tracks recent synaptic changes and allows to reinforce these changes. Also, we speculate on a possible biophysical interpretation of such a model that includes the fast movement of receptors to the membrane and their stabilization into clusters.