ParalESN: 저수준 컴퓨팅에서 병렬 정보 처리 가능하게 하기

ParalESN: Enabling parallel information processing in Reservoir Computing

January 29, 2026

저자: Matteo Pinna, Giacomo Lagomarsini, Andrea Ceni, Claudio Gallicchio

cs.AI

초록

저장 컴퓨팅(Reservoir Computing, RC)은 시계열 처리에 효율적인 패러다임으로 자리 잡았습니다. 그러나 확장성은 (i) 시계열 데이터의 순차 처리 필요성과 (ii) 고차원 저장소의 과도한 메모리 사용량으로 인해 심각하게 제한됩니다. 본 연구에서는 이러한 한계를 해결하기 위해 구조화된 연산자와 상태 공간 모델링 관점에서 RC를 재조명하여 병렬 에코 상태 네트워크(Parallel Echo State Network, ParalESN)를 제안합니다. ParalESN은 복소수 공간에서의 대각 선형 순환을 기반으로 고차원적이며 효율적인 저장소 구축을 가능하게 하여 시계열 데이터의 병렬 처리를 실현합니다. 우리는 ParalESN이 기존 에코 상태 네트워크의 에코 상태 특성(Echo State Property)과 보편성(universality)을 보존하면서도 임의의 선형 저장소를 복소수 대각 형태로 등가 표현할 수 있음을 이론적으로 분석합니다. 실험적으로 ParalESN은 시계열 벤치마크에서 기존 RC의 예측 정확도를 유지하면서 상당한 계산 효율 향상을 제공합니다. 1차원 픽셀 수준 분류 작업에서 ParalESN은 완전히 학습 가능한 신경망과 견줄 만한 정확도를 달성하면서 계산 비용과 에너지 소비를 크게 절감합니다. 전반적으로 ParalESN은 딥러닝 생태계 내에 RC를 통합하기 위한 유망하고 확장 가능하며 이론적으로 타당한 경로를 제시합니다.

English

Reservoir Computing (RC) has established itself as an efficient paradigm for temporal processing. However, its scalability remains severely constrained by (i) the necessity of processing temporal data sequentially and (ii) the prohibitive memory footprint of high-dimensional reservoirs. In this work, we revisit RC through the lens of structured operators and state space modeling to address these limitations, introducing Parallel Echo State Network (ParalESN). ParalESN enables the construction of high-dimensional and efficient reservoirs based on diagonal linear recurrence in the complex space, enabling parallel processing of temporal data. We provide a theoretical analysis demonstrating that ParalESN preserves the Echo State Property and the universality guarantees of traditional Echo State Networks while admitting an equivalent representation of arbitrary linear reservoirs in the complex diagonal form. Empirically, ParalESN matches the predictive accuracy of traditional RC on time series benchmarks, while delivering substantial computational savings. On 1-D pixel-level classification tasks, ParalESN achieves competitive accuracy with fully trainable neural networks while reducing computational costs and energy consumption by orders of magnitude. Overall, ParalESN offers a promising, scalable, and principled pathway for integrating RC within the deep learning landscape.