Superpositioneel Gradiëntendalen: Het Benutten van Quantumprincipes voor Modeltraining

Superpositional Gradient Descent: Harnessing Quantum Principles for Model Training

November 1, 2025

Auteurs: Ahmet Erdem Pamuk, Emir Kaan Özdemir, Şuayp Talha Kocabay

cs.AI

Samenvatting

Grote taalmodelen (LLM's) worden steeds vaker getraind met klassieke optimalisatietechnieken zoals AdamW om convergentie en generalisatie te verbeteren. De mechanismen waarmee kwantum-geïnspireerde methoden klassieke training verbeteren, blijven echter onderbelicht. Wij introduceren Superpositioneel Gradienten Dalen (SGD), een nieuwe optimalisatiemethode die gradientupdates verbindt met kwantumsuperpositie door perturbaties van kwantumcircuits in te brengen. Wij presenteren een wiskundig kader en implementeren hybride kwantum-klassieke circuits in PyTorch en Qiskit. Bij synthetische sequentieclassificatie en grootschalige LLM-finetuning convergeert SGD sneller en resulteert het in een lager finaal verlies dan AdamW. Ondanks veelbelovende resultaten beperken schaalbaarheid en hardwarebeperkingen de adoptie. Al met al biedt dit werk nieuwe inzichten in het snijvlak van kwantumcomputing en deep learning, en suggereert het praktische routes om kwantumprincipes te benutten om modelgedrag te sturen en verbeteren.

English

Large language models (LLMs) are increasingly trained with classical optimization techniques like AdamW to improve convergence and generalization. However, the mechanisms by which quantum-inspired methods enhance classical training remain underexplored. We introduce Superpositional Gradient Descent (SGD), a novel optimizer linking gradient updates with quantum superposition by injecting quantum circuit perturbations. We present a mathematical framework and implement hybrid quantum-classical circuits in PyTorch and Qiskit. On synthetic sequence classification and large-scale LLM fine-tuning, SGD converges faster and yields lower final loss than AdamW. Despite promising results, scalability and hardware constraints limit adoption. Overall, this work provides new insights into the intersection of quantum computing and deep learning, suggesting practical pathways for leveraging quantum principles to control and enhance model behavior.