Les fonctions d'activation variationnelles quantiques renforcent les réseaux de Kolmogorov-Arnold

Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks

September 17, 2025

papers.authors: Jiun-Cheng Jiang, Morris Yu-Chao Huang, Tianlong Chen, Hsi-Sheng Goan

cs.AI

papers.abstract

Les circuits quantiques variationnels (VQCs) sont au cœur de l'apprentissage automatique quantique, tandis que les progrès récents dans les réseaux de Kolmogorov-Arnold (KANs) mettent en lumière la puissance des fonctions d'activation apprenables. Nous unifions ces directions en introduisant les fonctions d'activation quantiques variationnelles (QVAFs), réalisées à travers des circuits de re-téléchargement de données à un seul qubit appelés DatA Re-Uploading ActivatioNs (DARUANs). Nous montrons que DARUAN, avec des poids entraînables dans le prétraitement des données, possède un spectre de fréquence croissant de manière exponentielle avec les répétitions de données, permettant une réduction exponentielle de la taille des paramètres par rapport aux activations basées sur Fourier sans perte d'expressivité. L'intégration de DARUAN dans les KANs donne naissance aux KANs inspirés par la quantique (QKANs), qui conservent l'interprétabilité des KANs tout en améliorant leur efficacité paramétrique, leur expressivité et leur généralisation. Nous introduisons également deux techniques novatrices pour améliorer l'évolutivité, la faisabilité et l'efficacité computationnelle, telles que l'extension de couches et les QKANs hybrides (HQKANs) en tant que remplacements directs des perceptrons multicouches (MLPs) pour les réseaux feed-forward dans les modèles à grande échelle. Nous fournissons une analyse théorique et des expériences approfondies sur la régression de fonctions, la classification d'images et la modélisation générative de langage autorégressive, démontrant l'efficacité et l'évolutivité des QKANs. Les DARUANs et les QKANs offrent une direction prometteuse pour faire progresser l'apprentissage automatique quantique sur les matériels quantiques à échelle intermédiaire bruyante (NISQ) et les simulateurs quantiques classiques.

English

Variational quantum circuits (VQCs) are central to quantum machine learning, while recent progress in Kolmogorov-Arnold networks (KANs) highlights the power of learnable activation functions. We unify these directions by introducing quantum variational activation functions (QVAFs), realized through single-qubit data re-uploading circuits called DatA Re-Uploading ActivatioNs (DARUANs). We show that DARUAN with trainable weights in data pre-processing possesses an exponentially growing frequency spectrum with data repetitions, enabling an exponential reduction in parameter size compared with Fourier-based activations without loss of expressivity. Embedding DARUAN into KANs yields quantum-inspired KANs (QKANs), which retain the interpretability of KANs while improving their parameter efficiency, expressivity, and generalization. We further introduce two novel techniques to enhance scalability, feasibility and computational efficiency, such as layer extension and hybrid QKANs (HQKANs) as drop-in replacements of multi-layer perceptrons (MLPs) for feed-forward networks in large-scale models. We provide theoretical analysis and extensive experiments on function regression, image classification, and autoregressive generative language modeling, demonstrating the efficiency and scalability of QKANs. DARUANs and QKANs offer a promising direction for advancing quantum machine learning on both noisy intermediate-scale quantum (NISQ) hardware and classical quantum simulators.