Descida de Gradiente Superposicional: Aproveitando os Princípios Quânticos para o Treinamento de Modelos

Superpositional Gradient Descent: Harnessing Quantum Principles for Model Training

November 1, 2025

Autores: Ahmet Erdem Pamuk, Emir Kaan Özdemir, Şuayp Talha Kocabay

cs.AI

Resumo

Os grandes modelos de linguagem (LLMs) estão cada vez mais sendo treinados com técnicas clássicas de otimização como AdamW para melhorar a convergência e a generalização. No entanto, os mecanismos pelos quais métodos inspirados na quântica melhoram o treinamento clássico permanecem pouco explorados. Apresentamos o Superpositional Gradient Descent (SGD), um novo otimizador que conecta atualizações de gradiente com a superposição quântica através da injeção de perturbações de circuitos quânticos. Apresentamos uma estrutura matemática e implementamos circuitos híbridos quântico-clássicos em PyTorch e Qiskit. Na classificação de sequências sintéticas e no ajuste fino de LLMs em larga escala, o SGD converge mais rapidamente e produz uma perda final menor do que o AdamW. Apesar dos resultados promissores, a escalabilidade e as limitações de hardware restringem a adoção. No geral, este trabalho fornece novos insights sobre a interseção entre computação quântica e aprendizado profundo, sugerindo caminhos práticos para aproveitar os princípios quânticos para controlar e melhorar o comportamento do modelo.

English

Large language models (LLMs) are increasingly trained with classical optimization techniques like AdamW to improve convergence and generalization. However, the mechanisms by which quantum-inspired methods enhance classical training remain underexplored. We introduce Superpositional Gradient Descent (SGD), a novel optimizer linking gradient updates with quantum superposition by injecting quantum circuit perturbations. We present a mathematical framework and implement hybrid quantum-classical circuits in PyTorch and Qiskit. On synthetic sequence classification and large-scale LLM fine-tuning, SGD converges faster and yields lower final loss than AdamW. Despite promising results, scalability and hardware constraints limit adoption. Overall, this work provides new insights into the intersection of quantum computing and deep learning, suggesting practical pathways for leveraging quantum principles to control and enhance model behavior.