Discesa del Gradiente Superposizionale: Sfruttare i Principi Quantistici per l'Addestramento dei Modelli

Superpositional Gradient Descent: Harnessing Quantum Principles for Model Training

November 1, 2025

Autori: Ahmet Erdem Pamuk, Emir Kaan Özdemir, Şuayp Talha Kocabay

cs.AI

Abstract

I grandi modelli linguistici (LLM) vengono sempre più addestrati con tecniche di ottimizzazione classiche come AdamW per migliorare la convergenza e la generalizzazione. Tuttavia, i meccanismi attraverso i quali i metodi di ispirazione quantistica potenziano l'addestramento classico rimangono poco esplorati. Introduciamo la Discesa del Gradiente in Superposizione (SGD), un nuovo ottimizzatore che collega gli aggiornamenti del gradiente con la sovrapposizione quantistica mediante l'iniezione di perturbazioni da circuiti quantistici. Presentiamo un framework matematico e implementiamo circuiti ibridi quantistico-classici in PyTorch e Qiskit. Su compiti di classificazione di sequenze sintetiche e di fine-tuning su larga scala di LLM, SGD converge più rapidamente e produce una loss finale inferiore rispetto ad AdamW. Nonostante i risultati promettenti, la scalabilità e i vincoli hardware ne limitano l'adozione. Nel complesso, questo lavoro fornisce nuove intuizioni sull'intersezione tra calcolo quantistico e apprendimento profondo, suggerendo percorsi pratici per sfruttare i principi quantistici per controllare e migliorare il comportamento del modello.

English

Large language models (LLMs) are increasingly trained with classical optimization techniques like AdamW to improve convergence and generalization. However, the mechanisms by which quantum-inspired methods enhance classical training remain underexplored. We introduce Superpositional Gradient Descent (SGD), a novel optimizer linking gradient updates with quantum superposition by injecting quantum circuit perturbations. We present a mathematical framework and implement hybrid quantum-classical circuits in PyTorch and Qiskit. On synthetic sequence classification and large-scale LLM fine-tuning, SGD converges faster and yields lower final loss than AdamW. Despite promising results, scalability and hardware constraints limit adoption. Overall, this work provides new insights into the intersection of quantum computing and deep learning, suggesting practical pathways for leveraging quantum principles to control and enhance model behavior.