QKAN-LSTM : Mémoire à Long et Court Terme de Kolmogorov-Arnold à Inspiration Quantique

papers.abstract

Les modèles à mémoire à long terme (LSTM) sont un type particulier de réseaux neuronaux récurrents (RNN) centraux pour les tâches de modélisation séquentielle dans des domaines tels que la prévision des télécommunications urbaines, où les corrélations temporelles et les dépendances non linéaires prédominent. Cependant, les LSTM conventionnels souffrent d'une redondance paramétrique élevée et d'une expressivité non linéaire limitée. Dans ce travail, nous proposons la mémoire à long terme de Kolmogorov-Arnold à inspiration quantique (QKAN-LSTM), qui intègre des modules d'activation par re-téléchargement des données (DARUAN) dans la structure de gating des LSTM. Chaque DARUAN agit comme une fonction d'activation variationnelle quantique (QVAF), améliorant l'adaptabilité en fréquence et permettant une représentation spectrale exponentiellement enrichie sans intrication multi-qubits. L'architecture résultante préserve l'expressivité de niveau quantique tout en restant entièrement exécutable sur du matériel classique. Les évaluations empiriques sur trois ensembles de données - Mouvement Harmonique Simple Amorti, Fonction de Bessel et Télécommunications Urbaines - démontrent que QKAN-LSTM atteint une précision prédictive et une généralisation supérieures avec une réduction de 79 % des paramètres entraînables par rapport aux LSTM classiques. Nous étendons le cadre au réseau de Jiang-Huang-Chen-Goan (JHCG Net), qui généralise KAN aux structures encodeur-décodeur, puis utilisons ensuite QKAN pour réaliser le KAN latent, créant ainsi un QKAN Hybride (HQKAN) pour l'apprentissage de représentations hiérarchiques. Le HQKAN-LSTM proposé offre ainsi une voie évolutive et interprétable vers la modélisation séquentielle à inspiration quantique dans des environnements de données réelles.

English

Long short-term memory (LSTM) models are a particular type of recurrent neural networks (RNNs) that are central to sequential modeling tasks in domains such as urban telecommunication forecasting, where temporal correlations and nonlinear dependencies dominate. However, conventional LSTMs suffer from high parameter redundancy and limited nonlinear expressivity. In this work, we propose the Quantum-inspired Kolmogorov-Arnold Long Short-Term Memory (QKAN-LSTM), which integrates Data Re-Uploading Activation (DARUAN) modules into the gating structure of LSTMs. Each DARUAN acts as a quantum variational activation function (QVAF), enhancing frequency adaptability and enabling an exponentially enriched spectral representation without multi-qubit entanglement. The resulting architecture preserves quantum-level expressivity while remaining fully executable on classical hardware. Empirical evaluations on three datasets, Damped Simple Harmonic Motion, Bessel Function, and Urban Telecommunication, demonstrate that QKAN-LSTM achieves superior predictive accuracy and generalization with a 79% reduction in trainable parameters compared to classical LSTMs. We extend the framework to the Jiang-Huang-Chen-Goan Network (JHCG Net), which generalizes KAN to encoder-decoder structures, and then further use QKAN to realize the latent KAN, thereby creating a Hybrid QKAN (HQKAN) for hierarchical representation learning. The proposed HQKAN-LSTM thus provides a scalable and interpretable pathway toward quantum-inspired sequential modeling in real-world data environments.

QKAN-LSTM : Mémoire à Long et Court Terme de Kolmogorov-Arnold à Inspiration Quantique

QKAN-LSTM: Quantum-inspired Kolmogorov-Arnold Long Short-term Memory

papers.abstract

Support