QKAN-LSTM: 양자 영감을 받은 콜모고로프-아놀드 장단기 메모리

초록

장단기 메모리(LSTM) 모델은 도시 통신 예측과 같은 영역에서 시간적 상관관계와 비선형 의존성이 지배적인 순차 모델링 작업의 핵심이 되는 순환 신경망(RNN)의 특수 유형입니다. 그러나 기존 LSTM은 높은 매개변수 중복성과 제한된 비선형 표현력이라는 한계를 지닙니다. 본 연구에서는 LSTM의 게이트 구조에 데이터 재업로드 활성화(DARUAN) 모듈을 통합한 양자 영감 콜모고로프-아놀드 장단기 메모리(QKAN-LSTM)를 제안합니다. 각 DARUAN은 양자 변분 활성화 함수(QVAF) 역할을 하여, 다중 큐비트 얽힘 없이도 주파수 적응성을 향상시키고 기하급수적으로 풍부한 스펙트럼 표현을 가능하게 합니다. 결과적인 아키텍처는 양자 수준의 표현력을 유지하면서도 클래식 하드웨어에서 완전히 실행 가능합니다. 감쇠 조화 운동, 베셀 함수, 도시 통신 세 가지 데이터셋에 대한 실증 평가에서 QKAN-LSTM은 기존 LSTM 대비 학습 가능 매개변수를 79% 감소시키면서도 우수한 예측 정확도와 일반화 성능을 달성함을 입증했습니다. 우리는 이 프레임워크를 인코더-디코더 구조로 KAN을 일반화하는 Jiang-Huang-Chen-Goan 네트워크(JHCG Net)로 확장하고, 여기에 QKAN을 추가로 활용하여 잠재 KAN을 구현함으로써 계층적 표현 학습을 위한 하이브리드 QKAN(HQKAN)을 생성합니다. 따라서 제안된 HQKAN-LSTM은 현실 세계 데이터 환경에서 양자 영감 순차 모델링을 위한 확장 가능하고 해석 가능한 경로를 제공합니다.

English

Long short-term memory (LSTM) models are a particular type of recurrent neural networks (RNNs) that are central to sequential modeling tasks in domains such as urban telecommunication forecasting, where temporal correlations and nonlinear dependencies dominate. However, conventional LSTMs suffer from high parameter redundancy and limited nonlinear expressivity. In this work, we propose the Quantum-inspired Kolmogorov-Arnold Long Short-Term Memory (QKAN-LSTM), which integrates Data Re-Uploading Activation (DARUAN) modules into the gating structure of LSTMs. Each DARUAN acts as a quantum variational activation function (QVAF), enhancing frequency adaptability and enabling an exponentially enriched spectral representation without multi-qubit entanglement. The resulting architecture preserves quantum-level expressivity while remaining fully executable on classical hardware. Empirical evaluations on three datasets, Damped Simple Harmonic Motion, Bessel Function, and Urban Telecommunication, demonstrate that QKAN-LSTM achieves superior predictive accuracy and generalization with a 79% reduction in trainable parameters compared to classical LSTMs. We extend the framework to the Jiang-Huang-Chen-Goan Network (JHCG Net), which generalizes KAN to encoder-decoder structures, and then further use QKAN to realize the latent KAN, thereby creating a Hybrid QKAN (HQKAN) for hierarchical representation learning. The proposed HQKAN-LSTM thus provides a scalable and interpretable pathway toward quantum-inspired sequential modeling in real-world data environments.

QKAN-LSTM: 양자 영감을 받은 콜모고로프-아놀드 장단기 메모리

QKAN-LSTM: Quantum-inspired Kolmogorov-Arnold Long Short-term Memory

초록

Support