Reti Neurali Ricorrenti Residue Profonde con Stato Eco: esplorazione delle connessioni residue ortogonali in reti neurali ricorrenti non addestrate
Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks
August 28, 2025
Autori: Matteo Pinna, Andrea Ceni, Claudio Gallicchio
cs.AI
Abstract
Le Echo State Network (ESN) sono un particolare tipo di Reti Neurali Ricorrenti (RNN) non addestrate all'interno del framework di Reservoir Computing (RC), note per il loro apprendimento rapido ed efficiente. Tuttavia, le ESN tradizionali spesso incontrano difficoltà nell'elaborazione di informazioni a lungo termine. In questo articolo, introduciamo una nuova classe di RNN non addestrate basate su connessioni residue temporali, chiamate Deep Residual Echo State Networks (DeepResESN). Dimostriamo che sfruttare una gerarchia di strati ricorrenti residui non addestrati aumenta significativamente la capacità di memoria e la modellazione temporale a lungo termine. Per le connessioni residue temporali, consideriamo diverse configurazioni ortogonali, tra cui configurazioni generate casualmente e a struttura fissa, e studiamo il loro effetto sulla dinamica della rete. Un'analisi matematica approfondita delinea le condizioni necessarie e sufficienti per garantire dinamiche stabili all'interno delle DeepResESN. I nostri esperimenti su una varietà di task di serie temporali evidenziano i vantaggi dell'approccio proposto rispetto alle RC tradizionali, sia superficiali che profonde.
English
Echo State Networks (ESNs) are a particular type of untrained Recurrent
Neural Networks (RNNs) within the Reservoir Computing (RC) framework, popular
for their fast and efficient learning. However, traditional ESNs often struggle
with long-term information processing. In this paper, we introduce a novel
class of deep untrained RNNs based on temporal residual connections, called
Deep Residual Echo State Networks (DeepResESNs). We show that leveraging a
hierarchy of untrained residual recurrent layers significantly boosts memory
capacity and long-term temporal modeling. For the temporal residual
connections, we consider different orthogonal configurations, including
randomly generated and fixed-structure configurations, and we study their
effect on network dynamics. A thorough mathematical analysis outlines necessary
and sufficient conditions to ensure stable dynamics within DeepResESN. Our
experiments on a variety of time series tasks showcase the advantages of the
proposed approach over traditional shallow and deep RC.