Нейронные сети с динамическими коэффициентами и перестраиваемыми связями на основе интегрированного обратного распространения

 pdf (298K)

Рассматриваются искусственные нейроны, чьи весовые коэффициенты будут изменяться по специальному закону, основанному на интегрированном в их модели обратном распространении. Для этого коэффициенты погрешности обратного распространения вводятся в явном виде во все модели нейронов и осуществляется передача их значений вдоль межнейронных связей. В дополнение к этому вводится специальный тип нейронов с эталонными входами, которые будут выступать в качестве основного источника первичной оценки погрешности для всей нейронной сети. В последнюю очередь вводится контрольный сигнал для запуска обучения, который будет управлять процессом передачи коэффициентов погрешности и корректировкой весов нейронов. Для рекуррентных нейронных сетей демонстрируется как провести интеграцию обратного распространения во времени в их формализм с помощью стековой памяти для внешних входов нейронов. Дополнительно к этому рассматриваются примеры как формализовать в рамках данного подхода такие популярные нейронные сети, как сети долгой кратковременной памяти, сети радиально-базисных функций, многослойные перцептроны и сверточные нейронные сети. Основным практическим следствием данного подхода является возможность описания нейронных сетей с перестраиваемыми связями на основе интегрированного алгоритма обратного распространения.

Ключевые слова: искусственные нейроны, обратное распространение ошибки, адаптивная перестройка связей, рекуррентные нейронные сети
Цитата: Вестник Удмуртского университета. Математика. Механика. Компьютерные науки, 2018, т. 28, вып. 2, с. 260-274
DOI: 10.20537/vm180212

Neural networks with dynamical coefficients and adjustable connections on the basis of integrated backpropagation

We consider artificial neurons which will update their weight coefficients with an internal rule based on backpropagation, rather than using it as an external training procedure. To achieve this we include the backpropagation error estimate as a separate entity in all the neuron models and perform its exchange along the synaptic connections. In addition to this we add some special type of neurons with reference inputs, which will serve as a base source of error estimates for the whole network. Finally, we introduce a training control signal for all the neurons, which can enable the correction of weights and the exchange of error estimates. For recurrent neural networks we also demonstrate how to integrate backpropagation through time into their formalism with the help of some stack memory for reference inputs and external data inputs of neurons. Also, for widely used neural networks, such as long short-term memory, radial basis function networks, multilayer perceptrons and convolutional neural networks, we demonstrate their alternative description within the framework of our new formalism. As a useful consequence, our approach enables us to introduce neural networks with the adjustment of synaptic connections, tied to the integrated backpropagation.

Keywords: artificial neurons, backpropagation, adaptive connection adjustment, recurrent neural networks
Citation in English: Bulletin of Udmurt University. Mathematics, Mechanics, Computer Science, 2018, vol. 28, issue 2, pp. 260-274

Журнал индексируется в Web of Science (Emerging Sources Citation Index)

Журнал индексируется в Scopus

Журнал входит в базы данных zbMATH, MathSciNet

Журнал включен в базу данных Russian Science Citation Index (RSCI) на платформе Web of Science

Журнал включен в перечень ВАК.

Электронная версия журнала на Общероссийском математическом портале Math-Net.Ru.

Журнал включен в Crossref