Funções de Ativação Variacionais Quânticas Potencializam Redes de Kolmogorov-Arnold

Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks

September 17, 2025

Autores: Jiun-Cheng Jiang, Morris Yu-Chao Huang, Tianlong Chen, Hsi-Sheng Goan

cs.AI

Resumo

Circuitos quânticos variacionais (VQCs) são centrais para o aprendizado de máquina quântico, enquanto os recentes avanços em redes de Kolmogorov-Arnold (KANs) destacam o poder de funções de ativação aprendíveis. Unificamos essas direções ao introduzir funções de ativação quânticas variacionais (QVAFs), realizadas por meio de circuitos de recarregamento de dados de um único qubit, chamados de DatA Re-Uploading ActivatioNs (DARUANs). Mostramos que o DARUAN com pesos treináveis no pré-processamento de dados possui um espectro de frequência que cresce exponencialmente com as repetições de dados, permitindo uma redução exponencial no tamanho dos parâmetros em comparação com ativações baseadas em Fourier, sem perda de expressividade. A incorporação do DARUAN em KANs resulta em KANs inspiradas em quântica (QKANs), que mantêm a interpretabilidade das KANs enquanto melhoram sua eficiência de parâmetros, expressividade e generalização. Introduzimos ainda duas técnicas novas para aprimorar a escalabilidade, viabilidade e eficiência computacional, como a extensão de camadas e QKANs híbridas (HQKANs) como substitutos diretos de perceptrons multicamadas (MLPs) para redes feed-forward em modelos de grande escala. Fornecemos análises teóricas e experimentos extensivos em regressão de funções, classificação de imagens e modelagem generativa de linguagem autoregressiva, demonstrando a eficiência e escalabilidade das QKANs. DARUANs e QKANs oferecem uma direção promissora para o avanço do aprendizado de máquina quântico tanto em hardware quântico de escala intermediária ruidoso (NISQ) quanto em simuladores quânticos clássicos.

English

Variational quantum circuits (VQCs) are central to quantum machine learning, while recent progress in Kolmogorov-Arnold networks (KANs) highlights the power of learnable activation functions. We unify these directions by introducing quantum variational activation functions (QVAFs), realized through single-qubit data re-uploading circuits called DatA Re-Uploading ActivatioNs (DARUANs). We show that DARUAN with trainable weights in data pre-processing possesses an exponentially growing frequency spectrum with data repetitions, enabling an exponential reduction in parameter size compared with Fourier-based activations without loss of expressivity. Embedding DARUAN into KANs yields quantum-inspired KANs (QKANs), which retain the interpretability of KANs while improving their parameter efficiency, expressivity, and generalization. We further introduce two novel techniques to enhance scalability, feasibility and computational efficiency, such as layer extension and hybrid QKANs (HQKANs) as drop-in replacements of multi-layer perceptrons (MLPs) for feed-forward networks in large-scale models. We provide theoretical analysis and extensive experiments on function regression, image classification, and autoregressive generative language modeling, demonstrating the efficiency and scalability of QKANs. DARUANs and QKANs offer a promising direction for advancing quantum machine learning on both noisy intermediate-scale quantum (NISQ) hardware and classical quantum simulators.