Le funzioni di attivazione quantistiche variazionali potenziano le reti di Kolmogorov-Arnold

Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks

September 17, 2025

Autori: Jiun-Cheng Jiang, Morris Yu-Chao Huang, Tianlong Chen, Hsi-Sheng Goan

cs.AI

Abstract

I circuiti quantistici variazionali (VQC) sono centrali nel machine learning quantistico, mentre i recenti progressi nelle reti di Kolmogorov-Arnold (KAN) evidenziano la potenza delle funzioni di attivazione apprendibili. Unifichiamo queste direzioni introducendo le funzioni di attivazione variazionali quantistiche (QVAF), realizzate attraverso circuiti di ricaricamento dati a singolo qubit chiamati DatA Re-Uploading ActivatioNs (DARUAN). Dimostriamo che i DARUAN con pesi addestrabili nella pre-elaborazione dei dati possiedono uno spettro di frequenza in crescita esponenziale con le ripetizioni dei dati, consentendo una riduzione esponenziale delle dimensioni dei parametri rispetto alle attivazioni basate su Fourier senza perdita di espressività. L'integrazione dei DARUAN nelle KAN produce KAN ispirate al quantistico (QKAN), che mantengono l'interpretabilità delle KAN migliorandone l'efficienza dei parametri, l'espressività e la generalizzazione. Introduciamo inoltre due tecniche innovative per migliorare la scalabilità, la fattibilità e l'efficienza computazionale, come l'estensione a strati e le QKAN ibride (HQKAN) come sostituti diretti dei perceptron multistrato (MLP) per reti feed-forward in modelli su larga scala. Forniamo un'analisi teorica e ampi esperimenti su regressione di funzioni, classificazione di immagini e modellazione linguistica generativa autoregressiva, dimostrando l'efficienza e la scalabilità delle QKAN. I DARUAN e le QKAN offrono una direzione promettente per avanzare nel machine learning quantistico sia su hardware quantistico rumoroso a scala intermedia (NISQ) che su simulatori quantistici classici.

English

Variational quantum circuits (VQCs) are central to quantum machine learning, while recent progress in Kolmogorov-Arnold networks (KANs) highlights the power of learnable activation functions. We unify these directions by introducing quantum variational activation functions (QVAFs), realized through single-qubit data re-uploading circuits called DatA Re-Uploading ActivatioNs (DARUANs). We show that DARUAN with trainable weights in data pre-processing possesses an exponentially growing frequency spectrum with data repetitions, enabling an exponential reduction in parameter size compared with Fourier-based activations without loss of expressivity. Embedding DARUAN into KANs yields quantum-inspired KANs (QKANs), which retain the interpretability of KANs while improving their parameter efficiency, expressivity, and generalization. We further introduce two novel techniques to enhance scalability, feasibility and computational efficiency, such as layer extension and hybrid QKANs (HQKANs) as drop-in replacements of multi-layer perceptrons (MLPs) for feed-forward networks in large-scale models. We provide theoretical analysis and extensive experiments on function regression, image classification, and autoregressive generative language modeling, demonstrating the efficiency and scalability of QKANs. DARUANs and QKANs offer a promising direction for advancing quantum machine learning on both noisy intermediate-scale quantum (NISQ) hardware and classical quantum simulators.