Réseaux d’Écho Résiduels Profonds : exploration des connexions résiduelles orthogonales dans les réseaux neuronaux récurrents non entraînés
Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks
August 28, 2025
papers.authors: Matteo Pinna, Andrea Ceni, Claudio Gallicchio
cs.AI
papers.abstract
Les réseaux à écho (Echo State Networks, ESNs) sont un type particulier de réseaux neuronaux récurrents (Recurrent Neural Networks, RNNs) non entraînés, relevant du cadre de l’apprentissage par réservoir (Reservoir Computing, RC), et populaires pour leur apprentissage rapide et efficace. Cependant, les ESNs traditionnels rencontrent souvent des difficultés dans le traitement d’informations à long terme. Dans cet article, nous introduisons une nouvelle classe de RNNs profonds non entraînés basés sur des connexions résiduelles temporelles, appelés réseaux à écho résiduels profonds (Deep Residual Echo State Networks, DeepResESNs). Nous montrons que l’exploitation d’une hiérarchie de couches récurrentes résiduelles non entraînées améliore significativement la capacité de mémoire et la modélisation temporelle à long terme. Pour les connexions résiduelles temporelles, nous considérons différentes configurations orthogonales, incluant des configurations générées aléatoirement et des configurations à structure fixe, et nous étudions leur impact sur la dynamique du réseau. Une analyse mathématique approfondie détaille les conditions nécessaires et suffisantes pour garantir une dynamique stable au sein des DeepResESNs. Nos expériences sur une variété de tâches de séries temporelles mettent en évidence les avantages de l’approche proposée par rapport aux RC traditionnels, qu’ils soient peu profonds ou profonds.
English
Echo State Networks (ESNs) are a particular type of untrained Recurrent
Neural Networks (RNNs) within the Reservoir Computing (RC) framework, popular
for their fast and efficient learning. However, traditional ESNs often struggle
with long-term information processing. In this paper, we introduce a novel
class of deep untrained RNNs based on temporal residual connections, called
Deep Residual Echo State Networks (DeepResESNs). We show that leveraging a
hierarchy of untrained residual recurrent layers significantly boosts memory
capacity and long-term temporal modeling. For the temporal residual
connections, we consider different orthogonal configurations, including
randomly generated and fixed-structure configurations, and we study their
effect on network dynamics. A thorough mathematical analysis outlines necessary
and sufficient conditions to ensure stable dynamics within DeepResESN. Our
experiments on a variety of time series tasks showcase the advantages of the
proposed approach over traditional shallow and deep RC.