Квантовые вариационные функции активации расширяют возможности сетей Колмогорова-Арнольда

Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks

September 17, 2025

Авторы: Jiun-Cheng Jiang, Morris Yu-Chao Huang, Tianlong Chen, Hsi-Sheng Goan

cs.AI

Аннотация

Вариационные квантовые схемы (VQCs) играют ключевую роль в квантовом машинном обучении, в то время как недавние достижения в сетях Колмогорова-Арнольда (KANs) подчеркивают мощь обучаемых функций активации. Мы объединяем эти направления, вводя квантовые вариационные функции активации (QVAFs), реализуемые через одно-кубитные схемы повторной загрузки данных, называемые DatA Re-Uploading ActivatioNs (DARUANs). Мы показываем, что DARUAN с обучаемыми весами в предварительной обработке данных обладает экспоненциально растущим частотным спектром при повторении данных, что позволяет экспоненциально сократить размер параметров по сравнению с активациями на основе Фурье без потери выразительности. Встраивание DARUAN в KANs приводит к квантово-вдохновленным KANs (QKANs), которые сохраняют интерпретируемость KANs, одновременно улучшая их параметрическую эффективность, выразительность и обобщаемость. Мы также вводим две новые методики для повышения масштабируемости, реализуемости и вычислительной эффективности, такие как расширение слоев и гибридные QKANs (HQKANs) в качестве замены многослойных перцептронов (MLPs) в прямых сетях для крупномасштабных моделей. Мы предоставляем теоретический анализ и обширные эксперименты по регрессии функций, классификации изображений и авторегрессивному генеративному моделированию языка, демонстрируя эффективность и масштабируемость QKANs. DARUANs и QKANs предлагают перспективное направление для развития квантового машинного обучения как на шумных квантовых устройствах промежуточного масштаба (NISQ), так и на классических квантовых симуляторах.

English

Variational quantum circuits (VQCs) are central to quantum machine learning, while recent progress in Kolmogorov-Arnold networks (KANs) highlights the power of learnable activation functions. We unify these directions by introducing quantum variational activation functions (QVAFs), realized through single-qubit data re-uploading circuits called DatA Re-Uploading ActivatioNs (DARUANs). We show that DARUAN with trainable weights in data pre-processing possesses an exponentially growing frequency spectrum with data repetitions, enabling an exponential reduction in parameter size compared with Fourier-based activations without loss of expressivity. Embedding DARUAN into KANs yields quantum-inspired KANs (QKANs), which retain the interpretability of KANs while improving their parameter efficiency, expressivity, and generalization. We further introduce two novel techniques to enhance scalability, feasibility and computational efficiency, such as layer extension and hybrid QKANs (HQKANs) as drop-in replacements of multi-layer perceptrons (MLPs) for feed-forward networks in large-scale models. We provide theoretical analysis and extensive experiments on function regression, image classification, and autoregressive generative language modeling, demonstrating the efficiency and scalability of QKANs. DARUANs and QKANs offer a promising direction for advancing quantum machine learning on both noisy intermediate-scale quantum (NISQ) hardware and classical quantum simulators.