ParalESN: Mogelijk maken van parallelle informatieverwerking in Reservoir Computing

ParalESN: Enabling parallel information processing in Reservoir Computing

January 29, 2026

Auteurs: Matteo Pinna, Giacomo Lagomarsini, Andrea Ceni, Claudio Gallicchio

cs.AI

Samenvatting

Reservoir Computing (RC) heeft zich gevestigd als een efficiënt paradigma voor temporele verwerking. De schaalbaarheid ervan wordt echter ernstig beperkt door (i) de noodzaak om temporele gegevens sequentieel te verwerken en (ii) het buitensporige geheugengebruik van hoogdimensionale reservoirs. In dit werk herzien we RC vanuit het perspectief van gestructureerde operatoren en toestandsruimtemodellering om deze beperkingen aan te pakken, waarbij we het Parallel Echo State Network (ParalESN) introduceren. ParalESN maakt de constructie mogelijk van hoogdimensionale en efficiënte reservoirs gebaseerd op diagonale lineaire recurrentie in de complexe ruimte, waardoor parallelle verwerking van temporele gegevens mogelijk wordt. Wij bieden een theoretische analyse die aantoont dat ParalESN de Echo State Property en de universaliteitsgaranties van traditionele Echo State Networks behoudt, terwijl het een equivalente representatie van willekeurige lineaire reservoirs in de complexe diagonaalvorm toelaat. Empirisch gezien evenaart ParalESN de voorspellende nauwkeurigheid van traditionele RC op tijdreeksbenchmarks, terwijl het aanzienlijke computationele besparingen oplevert. Op 1-D classificatietaken op pixelniveau bereikt ParalESN een competitieve nauwkeurigheid met volledig trainbare neurale netwerken, terwijl de computationele kosten en het energieverbruik met ordes van grootte worden verminderd. Over het geheel genomen biedt ParalESN een veelbelovende, schaalbare en principiële weg voor de integratie van RC binnen het landschap van deep learning.

English

Reservoir Computing (RC) has established itself as an efficient paradigm for temporal processing. However, its scalability remains severely constrained by (i) the necessity of processing temporal data sequentially and (ii) the prohibitive memory footprint of high-dimensional reservoirs. In this work, we revisit RC through the lens of structured operators and state space modeling to address these limitations, introducing Parallel Echo State Network (ParalESN). ParalESN enables the construction of high-dimensional and efficient reservoirs based on diagonal linear recurrence in the complex space, enabling parallel processing of temporal data. We provide a theoretical analysis demonstrating that ParalESN preserves the Echo State Property and the universality guarantees of traditional Echo State Networks while admitting an equivalent representation of arbitrary linear reservoirs in the complex diagonal form. Empirically, ParalESN matches the predictive accuracy of traditional RC on time series benchmarks, while delivering substantial computational savings. On 1-D pixel-level classification tasks, ParalESN achieves competitive accuracy with fully trainable neural networks while reducing computational costs and energy consumption by orders of magnitude. Overall, ParalESN offers a promising, scalable, and principled pathway for integrating RC within the deep learning landscape.