Глубокие остаточные сети с эхо-состояниями: исследование остаточных ортогональных связей в неподготовленных рекуррентных нейронных сетях
Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks
August 28, 2025
Авторы: Matteo Pinna, Andrea Ceni, Claudio Gallicchio
cs.AI
Аннотация
Сети с эхо-состояниями (Echo State Networks, ESN) представляют собой особый тип неподготовленных рекуррентных нейронных сетей (Recurrent Neural Networks, RNN) в рамках парадигмы резервуарных вычислений (Reservoir Computing, RC), которые популярны благодаря быстрому и эффективному обучению. Однако традиционные ESN часто испытывают трудности с обработкой информации на длительных временных интервалах. В данной работе мы представляем новый класс глубоких неподготовленных RNN, основанных на временных остаточных связях, называемых Глубокими Остаточными Сетями с Эхо-Состояниями (Deep Residual Echo State Networks, DeepResESN). Мы показываем, что использование иерархии неподготовленных остаточных рекуррентных слоев значительно повышает емкость памяти и способность моделирования долгосрочных временных зависимостей. Для временных остаточных связей мы рассматриваем различные ортогональные конфигурации, включая случайно сгенерированные и фиксированные структуры, и изучаем их влияние на динамику сети. Подробный математический анализ формулирует необходимые и достаточные условия для обеспечения устойчивой динамики в рамках DeepResESN. Наши эксперименты на различных задачах временных рядов демонстрируют преимущества предложенного подхода по сравнению с традиционными неглубокими и глубокими RC.
English
Echo State Networks (ESNs) are a particular type of untrained Recurrent
Neural Networks (RNNs) within the Reservoir Computing (RC) framework, popular
for their fast and efficient learning. However, traditional ESNs often struggle
with long-term information processing. In this paper, we introduce a novel
class of deep untrained RNNs based on temporal residual connections, called
Deep Residual Echo State Networks (DeepResESNs). We show that leveraging a
hierarchy of untrained residual recurrent layers significantly boosts memory
capacity and long-term temporal modeling. For the temporal residual
connections, we consider different orthogonal configurations, including
randomly generated and fixed-structure configurations, and we study their
effect on network dynamics. A thorough mathematical analysis outlines necessary
and sufficient conditions to ensure stable dynamics within DeepResESN. Our
experiments on a variety of time series tasks showcase the advantages of the
proposed approach over traditional shallow and deep RC.