Gated QKAN-FWP: Skalierbares quanteninspiriertes Sequenzlernen

Zusammenfassung

Fast-Weight-Programmierer (FWPs) kodieren zeitliche Abhängigkeiten durch dynamisch aktualisierte Parameter anstelle von rekurrenten versteckten Zuständen. Quanten-FWPs (QFWPs) erweitern diese Idee mit variationellen Quantenschaltkreisen (VQCs), aber bestehende Implementierungen basieren auf Multi-Qubit-Architekturen, die auf Geräten im verrauschten Zwischenmaßstab (NISQ) schwer zu skalieren und klassisch teuer zu simulieren sind. Wir schlagen Gated-QKAN-FWP vor, ein Fast-Weight-Framework, das FWP mit dem quanteninspirierten Kolmogorov-Arnold-Netzwerk (QKAN) integriert, wobei Einzel-Qubit-Datenwiederhochladungsschaltkreise als lernbare nichtlineare Aktivierung, bekannt als DatA Re-Uploading ActivatioN (DARUAN), verwendet werden. Wir führen weiterhin eine skalar-gated Fast-Weight-Aktualisierungsregel ein, die die Parameterentwicklung stabilisiert, gestützt durch eine theoretische Analyse ihres adaptiven Gedächtniskerns, der geometrischen Beschränktheit und der parallelisierbaren Gradientenpfade. Wir evaluieren das Framework anhand von Zeitreihen-Benchmarks, MiniGrid-Verstärkungslernen und heben die reale Sonnenzyklusvorhersage als unser wichtigstes praktisches Ergebnis hervor. Im Langzeithorizont-Szenario mit einem 528-Monats-Eingabefenster und einem 132-Monats-Vorhersagehorizont erreicht unser 12,5k-Parameter-Modell einen niedrigeren skalierten mittleren quadratischen Fehler (MSE), Spitzenamplitudenfehler und Spitzenzeitfehler als eine Reihe klassischer rekurrenter Basislinien mit bis zu 13x mehr Parametern, darunter Langzeit-Kurzzeitgedächtnis-Netze (LSTM) (25,9k–89,1k Parameter), WaveNet-LSTM (167k), einfache rekurrente neuronale Netze (11,5k) und ein modifiziertes Echo State Network (132k). Zur Validierung der NISQ-Kompatibilität setzen wir den trainierten Fast Programmer zusätzlich auf IonQ- und IBM-Quantenprozessoren ein und erzielen eine Vorhersagegenauigkeit innerhalb von 0,1 % relativem MSE des rauschfreien Simulators bei 1024 Shots. Diese Ergebnisse positionieren Gated-QKAN-FWP als einen skalierbaren, parametereffizienten und NISQ-kompatiblen Ansatz für quanteninspirierte Sequenzmodellierung.

English

Fast Weight Programmers (FWPs) encode temporal dependencies through dynamically updated parameters rather than recurrent hidden states. Quantum FWPs (QFWPs) extend this idea with variational quantum circuits (VQCs), but existing implementations rely on multi-qubit architectures that are difficult to scale on noisy intermediate-scale quantum (NISQ) devices and expensive to simulate classically. We propose gated QKAN-FWP, a fast-weight framework that integrates FWP with Quantum-inspired Kolmogorov-Arnold Network (QKAN) using single-qubit data re-uploading circuits as learnable nonlinear activation, known as DatA Re-Uploading ActivatioN (DARUAN). We further introduce a scalar-gated fast-weight update rule that stabilizes parameter evolution, supported by a theoretical analysis of its adaptive memory kernel, geometric boundedness, and parallelizable gradient paths. We evaluate the framework across time-series benchmarks, MiniGrid reinforcement learning, and highlight real-world solar cycle forecasting as our main practical result. In the long-horizon setting with 528-month input window and 132-month forecast horizon, our 12.5k-parameter model achieves lower scaled Mean Square Error (MSE), peak amplitude error, and peak timing error than a suite of classical recurrent baselines with up to 13x more parameters, including Long Short-Term Memory (LSTM) networks (25.9k-89.1k parameters), WaveNet-LSTM (167k), Vanilla recurrent neural network (11.5k), and a Modified Echo State Network (132k). To validate NISQ compatibility, we further deploy the trained fast programmer on IonQ and IBM Quantum processors, recovering forecasting accuracy within 0.1% relative MSE of the noiseless simulator at 1024 shots. These results position gated QKAN-FWP as a scalable, parameter-efficient, and NISQ-compatible approach to quantum-inspired sequence modeling.