양자 변분 활성화 함수가 콜모고로프-아르놀드 네트워크를 강화한다

초록

변분 양자 회로(VQC)는 양자 기계 학습의 핵심 요소이며, 최근 콜모고로프-아르놀드 네트워크(KAN)의 발전은 학습 가능한 활성화 함수의 힘을 강조합니다. 우리는 단일 큐비트 데이터 재업로드 회로인 DARUAN(DatA Re-Uploading ActivatioNs)을 통해 구현된 양자 변분 활성화 함수(QVAF)를 도입하여 이러한 방향을 통합합니다. 우리는 데이터 전처리에서 학습 가능한 가중치를 가진 DARUAN이 데이터 반복에 따라 기하급수적으로 증가하는 주파수 스펙트럼을 가지며, 표현력 손실 없이 푸리에 기반 활성화 함수에 비해 매개변수 크기를 기하급수적으로 줄일 수 있음을 보여줍니다. DARUAN을 KAN에 내장함으로써 양자 영감을 받은 KAN(QKAN)을 얻을 수 있으며, 이는 KAN의 해석 가능성을 유지하면서 매개변수 효율성, 표현력 및 일반화 능력을 향상시킵니다. 또한, 우리는 확장성, 실현 가능성 및 계산 효율성을 향상시키기 위해 계층 확장 및 하이브리드 QKAN(HQKAN)과 같은 두 가지 새로운 기술을 도입하여 대규모 모델에서의 피드포워드 네트워크를 위한 다층 퍼셉트론(MLP)의 대체품으로 사용합니다. 우리는 함수 회귀, 이미지 분류 및 자기회귀 생성 언어 모델링에 대한 이론적 분석과 광범위한 실험을 제공하여 QKAN의 효율성과 확장성을 입증합니다. DARUAN과 QKAN은 NISQ(Noisy Intermediate-Scale Quantum) 하드웨어 및 고전적 양자 시뮬레이터 모두에서 양자 기계 학습을 발전시키기 위한 유망한 방향을 제시합니다.

English

Variational quantum circuits (VQCs) are central to quantum machine learning, while recent progress in Kolmogorov-Arnold networks (KANs) highlights the power of learnable activation functions. We unify these directions by introducing quantum variational activation functions (QVAFs), realized through single-qubit data re-uploading circuits called DatA Re-Uploading ActivatioNs (DARUANs). We show that DARUAN with trainable weights in data pre-processing possesses an exponentially growing frequency spectrum with data repetitions, enabling an exponential reduction in parameter size compared with Fourier-based activations without loss of expressivity. Embedding DARUAN into KANs yields quantum-inspired KANs (QKANs), which retain the interpretability of KANs while improving their parameter efficiency, expressivity, and generalization. We further introduce two novel techniques to enhance scalability, feasibility and computational efficiency, such as layer extension and hybrid QKANs (HQKANs) as drop-in replacements of multi-layer perceptrons (MLPs) for feed-forward networks in large-scale models. We provide theoretical analysis and extensive experiments on function regression, image classification, and autoregressive generative language modeling, demonstrating the efficiency and scalability of QKANs. DARUANs and QKANs offer a promising direction for advancing quantum machine learning on both noisy intermediate-scale quantum (NISQ) hardware and classical quantum simulators.

양자 변분 활성화 함수가 콜모고로프-아르놀드 네트워크를 강화한다

Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks

초록

Support