Redes Residuais de Reservatórios Profundas: explorando conexões residuais ortogonais em Redes Neurais Recorrentes não treinadas

Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks

August 28, 2025

Autores: Matteo Pinna, Andrea Ceni, Claudio Gallicchio

cs.AI

Resumo

As Redes de Reservatórios Eco (Echo State Networks - ESNs) são um tipo específico de Redes Neurais Recorrentes (RNNs) não treinadas dentro do framework de Computação de Reservatórios (Reservoir Computing - RC), conhecidas por seu aprendizado rápido e eficiente. No entanto, as ESNs tradicionais frequentemente enfrentam dificuldades no processamento de informações de longo prazo. Neste artigo, introduzimos uma nova classe de RNNs profundas não treinadas baseadas em conexões residuais temporais, denominadas Redes de Reservatórios Eco Profundas com Resíduos (Deep Residual Echo State Networks - DeepResESNs). Demonstramos que a utilização de uma hierarquia de camadas recorrentes residuais não treinadas aumenta significativamente a capacidade de memória e a modelagem temporal de longo prazo. Para as conexões residuais temporais, consideramos diferentes configurações ortogonais, incluindo configurações geradas aleatoriamente e de estrutura fixa, e estudamos seu efeito na dinâmica da rede. Uma análise matemática detalhada descreve as condições necessárias e suficientes para garantir dinâmicas estáveis dentro da DeepResESN. Nossos experimentos em uma variedade de tarefas de séries temporais destacam as vantagens da abordagem proposta em comparação com RC tradicional, tanto superficial quanto profunda.

English

Echo State Networks (ESNs) are a particular type of untrained Recurrent Neural Networks (RNNs) within the Reservoir Computing (RC) framework, popular for their fast and efficient learning. However, traditional ESNs often struggle with long-term information processing. In this paper, we introduce a novel class of deep untrained RNNs based on temporal residual connections, called Deep Residual Echo State Networks (DeepResESNs). We show that leveraging a hierarchy of untrained residual recurrent layers significantly boosts memory capacity and long-term temporal modeling. For the temporal residual connections, we consider different orthogonal configurations, including randomly generated and fixed-structure configurations, and we study their effect on network dynamics. A thorough mathematical analysis outlines necessary and sufficient conditions to ensure stable dynamics within DeepResESN. Our experiments on a variety of time series tasks showcase the advantages of the proposed approach over traditional shallow and deep RC.