ParalESN : Permettre le traitement parallèle de l'information dans le calcul par réservoir

ParalESN: Enabling parallel information processing in Reservoir Computing

January 29, 2026

Auteurs: Matteo Pinna, Giacomo Lagomarsini, Andrea Ceni, Claudio Gallicchio

cs.AI

Résumé

Le calcul par réservoir (RC) s'est imposé comme un paradigme efficace pour le traitement temporel. Cependant, son extensibilité reste sévèrement limitée par (i) la nécessité de traiter les données temporelles séquentiellement et (ii) l'empreinte mémoire prohibitive des réservoirs de haute dimension. Dans ce travail, nous revisitons le RC sous l'angle des opérateurs structurés et de la modélisation par espace d'états pour surmonter ces limitations, en introduisant le *Parallel Echo State Network* (ParalESN). ParalESN permet la construction de réservoirs haute dimension et efficaces basés sur une récurrence linéaire diagonale dans l'espace complexe, permettant un traitement parallèle des données temporelles. Nous fournissons une analyse théorique démontrant que ParalESN préserve la propriété d'écho et les garanties d'universalité des réseaux à écho traditionnels, tout en admettant une représentation équivalente de tout réservoir linéaire arbitraire sous forme diagonale complexe. Empiriquement, ParalESN atteint la précision prédictive du RC traditionnel sur des benchmarks de séries temporelles, tout en réalisant des économies de calcul substantielles. Sur des tâches de classification 1D au niveau pixel, ParalESN obtient une précision compétitive avec des réseaux de neurones entièrement entraînables, tout en réduisant les coûts de calcul et la consommation d'énergie de plusieurs ordres de grandeur. Globalement, ParalESN offre une voie prometteuse, évolutive et fondée sur des principes pour intégrer le RC dans l'écosystème de l'apprentissage profond.

English

Reservoir Computing (RC) has established itself as an efficient paradigm for temporal processing. However, its scalability remains severely constrained by (i) the necessity of processing temporal data sequentially and (ii) the prohibitive memory footprint of high-dimensional reservoirs. In this work, we revisit RC through the lens of structured operators and state space modeling to address these limitations, introducing Parallel Echo State Network (ParalESN). ParalESN enables the construction of high-dimensional and efficient reservoirs based on diagonal linear recurrence in the complex space, enabling parallel processing of temporal data. We provide a theoretical analysis demonstrating that ParalESN preserves the Echo State Property and the universality guarantees of traditional Echo State Networks while admitting an equivalent representation of arbitrary linear reservoirs in the complex diagonal form. Empirically, ParalESN matches the predictive accuracy of traditional RC on time series benchmarks, while delivering substantial computational savings. On 1-D pixel-level classification tasks, ParalESN achieves competitive accuracy with fully trainable neural networks while reducing computational costs and energy consumption by orders of magnitude. Overall, ParalESN offers a promising, scalable, and principled pathway for integrating RC within the deep learning landscape.