Kwantum Variationale Activatiefuncties Versterken Kolmogorov-Arnold Netwerken

Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks

September 17, 2025

Auteurs: Jiun-Cheng Jiang, Morris Yu-Chao Huang, Tianlong Chen, Hsi-Sheng Goan

cs.AI

Samenvatting

Variationale kwantumcircuits (VQCs) staan centraal in kwantummachinelearning, terwijl recente vooruitgang in Kolmogorov-Arnold-netwerken (KANs) de kracht van leerbare activatiefuncties benadrukt. Wij verenigen deze richtingen door de introductie van kwantumvariationale activatiefuncties (QVAFs), gerealiseerd via single-qubit data re-uploading circuits genaamd DatA Re-Uploading ActivatioNs (DARUANs). We tonen aan dat DARUAN met trainbare gewichten in data preprocessing een exponentieel groeiend frequentiespectrum heeft bij dataherhalingen, wat een exponentiële reductie in parameteromvang mogelijk maakt in vergelijking met Fourier-gebaseerde activaties zonder verlies van expressiviteit. Het inbedden van DARUAN in KANs resulteert in kwantumgeïnspireerde KANs (QKANs), die de interpreteerbaarheid van KANs behouden terwijl hun parameter efficiëntie, expressiviteit en generalisatie worden verbeterd. We introduceren verder twee nieuwe technieken om schaalbaarheid, haalbaarheid en computationele efficiëntie te verbeteren, zoals laaguitbreiding en hybride QKANs (HQKANs) als drop-in vervangingen van multi-layer perceptrons (MLPs) voor feedforward-netwerken in grootschalige modellen. We bieden theoretische analyse en uitgebreide experimenten over functieregressie, beeldclassificatie en autoregressieve generatieve taalmodellering, die de efficiëntie en schaalbaarheid van QKANs aantonen. DARUANs en QKANs bieden een veelbelovende richting voor het bevorderen van kwantummachinelearning op zowel noisy intermediate-scale quantum (NISQ) hardware als klassieke kwantumsimulatoren.

English

Variational quantum circuits (VQCs) are central to quantum machine learning, while recent progress in Kolmogorov-Arnold networks (KANs) highlights the power of learnable activation functions. We unify these directions by introducing quantum variational activation functions (QVAFs), realized through single-qubit data re-uploading circuits called DatA Re-Uploading ActivatioNs (DARUANs). We show that DARUAN with trainable weights in data pre-processing possesses an exponentially growing frequency spectrum with data repetitions, enabling an exponential reduction in parameter size compared with Fourier-based activations without loss of expressivity. Embedding DARUAN into KANs yields quantum-inspired KANs (QKANs), which retain the interpretability of KANs while improving their parameter efficiency, expressivity, and generalization. We further introduce two novel techniques to enhance scalability, feasibility and computational efficiency, such as layer extension and hybrid QKANs (HQKANs) as drop-in replacements of multi-layer perceptrons (MLPs) for feed-forward networks in large-scale models. We provide theoretical analysis and extensive experiments on function regression, image classification, and autoregressive generative language modeling, demonstrating the efficiency and scalability of QKANs. DARUANs and QKANs offer a promising direction for advancing quantum machine learning on both noisy intermediate-scale quantum (NISQ) hardware and classical quantum simulators.