深層残差エコー状態ネットワーク：未訓練のリカレントニューラルネットワークにおける残差直交接続の探求

要旨

エコー状態ネットワーク（ESN）は、リザバーコンピューティング（RC）フレームワーク内の未訓練型リカレントニューラルネットワーク（RNN）の一種であり、その高速かつ効率的な学習能力で知られています。しかし、従来のESNは長期的な情報処理に課題を抱えています。本論文では、時間的残差接続に基づく新しいクラスの深層未訓練RNN、すなわちDeep Residual Echo State Networks（DeepResESN）を提案します。未訓練の残差リカレント層の階層構造を活用することで、メモリ容量と長期的な時間モデリングが大幅に向上することを示します。時間的残差接続については、ランダム生成および固定構造を含む異なる直交構成を検討し、それらがネットワークダイナミクスに及ぼす影響を調査します。詳細な数学的分析を通じて、DeepResESN内で安定したダイナミクスを保証するための必要十分条件を明らかにします。様々な時系列タスクにおける実験により、提案手法が従来の浅層および深層RCを上回る利点を実証します。

English

Echo State Networks (ESNs) are a particular type of untrained Recurrent Neural Networks (RNNs) within the Reservoir Computing (RC) framework, popular for their fast and efficient learning. However, traditional ESNs often struggle with long-term information processing. In this paper, we introduce a novel class of deep untrained RNNs based on temporal residual connections, called Deep Residual Echo State Networks (DeepResESNs). We show that leveraging a hierarchy of untrained residual recurrent layers significantly boosts memory capacity and long-term temporal modeling. For the temporal residual connections, we consider different orthogonal configurations, including randomly generated and fixed-structure configurations, and we study their effect on network dynamics. A thorough mathematical analysis outlines necessary and sufficient conditions to ensure stable dynamics within DeepResESN. Our experiments on a variety of time series tasks showcase the advantages of the proposed approach over traditional shallow and deep RC.

深層残差エコー状態ネットワーク：未訓練のリカレントニューラルネットワークにおける残差直交接続の探求

Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks

要旨

Support