Tiefe Residual Echo State Networks: Untersuchung residualer orthogonaler Verbindungen in untrainierten Rekurrenten Neuronalen Netzwerken
Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks
August 28, 2025
papers.authors: Matteo Pinna, Andrea Ceni, Claudio Gallicchio
cs.AI
papers.abstract
Echo State Networks (ESNs) sind eine spezielle Art von nicht trainierten Rekurrenten Neuronalen Netzwerken (RNNs) innerhalb des Reservoir Computing (RC)-Rahmens, die für ihr schnelles und effizientes Lernen bekannt sind. Traditionelle ESNs haben jedoch oft Schwierigkeiten bei der Langzeit-Informationsverarbeitung. In diesem Artikel stellen wir eine neuartige Klasse von tiefen, nicht trainierten RNNs vor, die auf temporalen Residualverbindungen basieren und als Deep Residual Echo State Networks (DeepResESNs) bezeichnet werden. Wir zeigen, dass die Nutzung einer Hierarchie von nicht trainierten residualen rekurrenten Schichten die Gedächtniskapazität und die Langzeit-Zeitmodellierung erheblich verbessert. Für die temporalen Residualverbindungen betrachten wir verschiedene orthogonale Konfigurationen, einschließlich zufällig generierter und fest strukturierter Konfigurationen, und untersuchen deren Auswirkungen auf die Netzwerkdynamik. Eine umfassende mathematische Analyse skizziert notwendige und hinreichende Bedingungen, um stabile Dynamiken innerhalb von DeepResESN zu gewährleisten. Unsere Experimente zu einer Vielzahl von Zeitreihenaufgaben demonstrieren die Vorteile des vorgeschlagenen Ansatzes gegenüber traditionellen flachen und tiefen RC-Ansätzen.
English
Echo State Networks (ESNs) are a particular type of untrained Recurrent
Neural Networks (RNNs) within the Reservoir Computing (RC) framework, popular
for their fast and efficient learning. However, traditional ESNs often struggle
with long-term information processing. In this paper, we introduce a novel
class of deep untrained RNNs based on temporal residual connections, called
Deep Residual Echo State Networks (DeepResESNs). We show that leveraging a
hierarchy of untrained residual recurrent layers significantly boosts memory
capacity and long-term temporal modeling. For the temporal residual
connections, we consider different orthogonal configurations, including
randomly generated and fixed-structure configurations, and we study their
effect on network dynamics. A thorough mathematical analysis outlines necessary
and sufficient conditions to ensure stable dynamics within DeepResESN. Our
experiments on a variety of time series tasks showcase the advantages of the
proposed approach over traditional shallow and deep RC.