Redes de Reservorios Residuales Profundos: exploración de conexiones residuales ortogonales en Redes Neuronales Recurrentes no entrenadas
Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks
August 28, 2025
Autores: Matteo Pinna, Andrea Ceni, Claudio Gallicchio
cs.AI
Resumen
Las Redes de Eco (Echo State Networks, ESNs) son un tipo particular de Redes Neuronales Recurrentes (RNNs) no entrenadas dentro del marco de Computación de Reservorios (Reservoir Computing, RC), populares por su aprendizaje rápido y eficiente. Sin embargo, las ESNs tradicionales suelen tener dificultades para procesar información a largo plazo. En este artículo, presentamos una nueva clase de RNNs no entrenadas basadas en conexiones residuales temporales, denominadas Redes de Eco Residuales Profundas (Deep Residual Echo State Networks, DeepResESNs). Demostramos que aprovechar una jerarquía de capas recurrentes residuales no entrenadas mejora significativamente la capacidad de memoria y el modelado temporal a largo plazo. Para las conexiones residuales temporales, consideramos diferentes configuraciones ortogonales, incluidas configuraciones generadas aleatoriamente y de estructura fija, y estudiamos su efecto en la dinámica de la red. Un análisis matemático exhaustivo describe las condiciones necesarias y suficientes para garantizar dinámicas estables dentro de DeepResESN. Nuestros experimentos en una variedad de tareas de series temporales muestran las ventajas del enfoque propuesto sobre las RC tradicionales, tanto superficiales como profundas.
English
Echo State Networks (ESNs) are a particular type of untrained Recurrent
Neural Networks (RNNs) within the Reservoir Computing (RC) framework, popular
for their fast and efficient learning. However, traditional ESNs often struggle
with long-term information processing. In this paper, we introduce a novel
class of deep untrained RNNs based on temporal residual connections, called
Deep Residual Echo State Networks (DeepResESNs). We show that leveraging a
hierarchy of untrained residual recurrent layers significantly boosts memory
capacity and long-term temporal modeling. For the temporal residual
connections, we consider different orthogonal configurations, including
randomly generated and fixed-structure configurations, and we study their
effect on network dynamics. A thorough mathematical analysis outlines necessary
and sufficient conditions to ensure stable dynamics within DeepResESN. Our
experiments on a variety of time series tasks showcase the advantages of the
proposed approach over traditional shallow and deep RC.