Diepe Residuele Echo State Netwerken: onderzoek naar residuele orthogonale verbindingen in niet-getrainde Recursieve Neurale Netwerken
Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks
August 28, 2025
Auteurs: Matteo Pinna, Andrea Ceni, Claudio Gallicchio
cs.AI
Samenvatting
Echo State Networks (ESN's) zijn een specifiek type niet-getrainde Recurrent Neural Networks (RNN's) binnen het Reservoir Computing (RC) raamwerk, bekend om hun snelle en efficiënte leerproces. Traditionele ESN's hebben echter vaak moeite met het verwerken van informatie op lange termijn. In dit artikel introduceren we een nieuwe klasse van diepe, niet-getrainde RNN's gebaseerd op temporele restverbindingen, genaamd Deep Residual Echo State Networks (DeepResESN's). We tonen aan dat het benutten van een hiërarchie van niet-getrainde rest-recurrente lagen de geheugencapaciteit en temporele modellering op lange termijn aanzienlijk verbetert. Voor de temporele restverbindingen overwegen we verschillende orthogonale configuraties, waaronder willekeurig gegenereerde en vaste-structuur configuraties, en bestuderen we hun effect op de netwerkdynamiek. Een grondige wiskundige analyse schetst noodzakelijke en voldoende voorwaarden om stabiele dynamiek binnen DeepResESN te garanderen. Onze experimenten op een verscheidenheid aan tijdreeks taken tonen de voordelen van de voorgestelde aanpak ten opzichte van traditionele ondiepe en diepe RC.
English
Echo State Networks (ESNs) are a particular type of untrained Recurrent
Neural Networks (RNNs) within the Reservoir Computing (RC) framework, popular
for their fast and efficient learning. However, traditional ESNs often struggle
with long-term information processing. In this paper, we introduce a novel
class of deep untrained RNNs based on temporal residual connections, called
Deep Residual Echo State Networks (DeepResESNs). We show that leveraging a
hierarchy of untrained residual recurrent layers significantly boosts memory
capacity and long-term temporal modeling. For the temporal residual
connections, we consider different orthogonal configurations, including
randomly generated and fixed-structure configurations, and we study their
effect on network dynamics. A thorough mathematical analysis outlines necessary
and sufficient conditions to ensure stable dynamics within DeepResESN. Our
experiments on a variety of time series tasks showcase the advantages of the
proposed approach over traditional shallow and deep RC.