깊은 잔여 에코 상태 네트워크: 훈련되지 않은 순환 신경망에서의 잔여 직교 연결 탐구

초록

에코 상태 네트워크(Echo State Networks, ESNs)는 저수지 컴퓨팅(Reservoir Computing, RC) 프레임워크 내에서 학습이 필요 없는 순환 신경망(Recurrent Neural Networks, RNNs)의 특수한 유형으로, 빠르고 효율적인 학습 능력으로 인해 널리 사용된다. 그러나 전통적인 ESN은 장기간 정보 처리에 어려움을 겪는 경우가 많다. 본 논문에서는 시간적 잔차 연결(temporal residual connections)을 기반으로 한 새로운 종류의 심층 비학습 순환 신경망인 심층 잔차 에코 상태 네트워크(Deep Residual Echo State Networks, DeepResESNs)를 소개한다. 우리는 비학습 잔차 순환 계층의 계층적 구조를 활용함으로써 메모리 용량과 장기간 시간적 모델링 능력이 크게 향상됨을 보여준다. 시간적 잔차 연결을 위해 무작위로 생성된 구성과 고정 구조 구성 등 다양한 직교 구성을 고려하고, 이들이 네트워크 동역학에 미치는 영향을 연구한다. 심층 잔차 에코 상태 네트워크 내에서 안정적인 동역학을 보장하기 위한 필요충분조건을 수학적으로 분석한다. 다양한 시계열 작업에 대한 실험을 통해 제안된 접근법이 전통적인 얕은 및 심층 RC보다 우수함을 입증한다.

English

Echo State Networks (ESNs) are a particular type of untrained Recurrent Neural Networks (RNNs) within the Reservoir Computing (RC) framework, popular for their fast and efficient learning. However, traditional ESNs often struggle with long-term information processing. In this paper, we introduce a novel class of deep untrained RNNs based on temporal residual connections, called Deep Residual Echo State Networks (DeepResESNs). We show that leveraging a hierarchy of untrained residual recurrent layers significantly boosts memory capacity and long-term temporal modeling. For the temporal residual connections, we consider different orthogonal configurations, including randomly generated and fixed-structure configurations, and we study their effect on network dynamics. A thorough mathematical analysis outlines necessary and sufficient conditions to ensure stable dynamics within DeepResESN. Our experiments on a variety of time series tasks showcase the advantages of the proposed approach over traditional shallow and deep RC.

깊은 잔여 에코 상태 네트워크: 훈련되지 않은 순환 신경망에서의 잔여 직교 연결 탐구

Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks

초록

Support