Quanten-Variations-Aktivierungsfunktionen stärken Kolmogorov-Arnold-Netzwerke
Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks
September 17, 2025
papers.authors: Jiun-Cheng Jiang, Morris Yu-Chao Huang, Tianlong Chen, Hsi-Sheng Goan
cs.AI
papers.abstract
Variationale Quantenschaltungen (VQCs) sind zentral für das Quantenmaschinenlernen, während jüngste Fortschritte bei Kolmogorov-Arnold-Netzwerken (KANs) die Stärke lernbarer Aktivierungsfunktionen hervorheben. Wir vereinen diese Richtungen, indem wir quantenvariationale Aktivierungsfunktionen (QVAFs) einführen, die durch Einzel-Qubit-Datenwiederhochladungsschaltungen, genannt DatA Re-Uploading ActivatioNs (DARUANs), realisiert werden. Wir zeigen, dass DARUAN mit trainierbaren Gewichten in der Datenvorverarbeitung ein exponentiell wachsendes Frequenzspektrum mit Datenwiederholungen besitzt, was eine exponentielle Reduktion der Parametergröße im Vergleich zu Fourier-basierten Aktivierungen ohne Verlust der Ausdrucksstärke ermöglicht. Die Einbettung von DARUAN in KANs ergibt quanteninspirierte KANs (QKANs), die die Interpretierbarkeit von KANs beibehalten, während sie deren Parametereffizienz, Ausdrucksstärke und Generalisierung verbessern. Wir führen weiterhin zwei neuartige Techniken ein, um die Skalierbarkeit, Machbarkeit und Recheneffizienz zu steigern, wie z.B. Schichtenerweiterung und hybride QKANs (HQKANs) als direkte Ersatz für mehrschichtige Perzeptronen (MLPs) in Feed-Forward-Netzwerken für großskalige Modelle. Wir liefern theoretische Analysen und umfangreiche Experimente zu Funktionsregression, Bildklassifikation und autoregressiver generativer Sprachmodellierung, die die Effizienz und Skalierbarkeit von QKANs demonstrieren. DARUANs und QKANs bieten eine vielversprechende Richtung zur Weiterentwicklung des Quantenmaschinenlernens sowohl auf Noisy Intermediate-Scale Quantum (NISQ)-Hardware als auch auf klassischen Quantensimulatoren.
English
Variational quantum circuits (VQCs) are central to quantum machine learning,
while recent progress in Kolmogorov-Arnold networks (KANs) highlights the power
of learnable activation functions. We unify these directions by introducing
quantum variational activation functions (QVAFs), realized through single-qubit
data re-uploading circuits called DatA Re-Uploading ActivatioNs (DARUANs). We
show that DARUAN with trainable weights in data pre-processing possesses an
exponentially growing frequency spectrum with data repetitions, enabling an
exponential reduction in parameter size compared with Fourier-based activations
without loss of expressivity. Embedding DARUAN into KANs yields
quantum-inspired KANs (QKANs), which retain the interpretability of KANs while
improving their parameter efficiency, expressivity, and generalization. We
further introduce two novel techniques to enhance scalability, feasibility and
computational efficiency, such as layer extension and hybrid QKANs (HQKANs) as
drop-in replacements of multi-layer perceptrons (MLPs) for feed-forward
networks in large-scale models. We provide theoretical analysis and extensive
experiments on function regression, image classification, and autoregressive
generative language modeling, demonstrating the efficiency and scalability of
QKANs. DARUANs and QKANs offer a promising direction for advancing quantum
machine learning on both noisy intermediate-scale quantum (NISQ) hardware and
classical quantum simulators.