Суперпозиционный градиентный спуск: использование квантовых принципов для обучения моделей

Superpositional Gradient Descent: Harnessing Quantum Principles for Model Training

November 1, 2025

Авторы: Ahmet Erdem Pamuk, Emir Kaan Özdemir, Şuayp Talha Kocabay

cs.AI

Аннотация

Крупные языковые модели (LLM) все чаще обучаются с использованием классических методов оптимизации, таких как AdamW, для повышения сходимости и способности к обобщению. Однако механизмы, с помощью которых квантово-вдохновленные методы улучшают классическое обучение, остаются малоизученными. Мы представляем Superpositional Gradient Descent (SGD) — новый оптимизатор, связывающий градиентные обновления с квантовой суперпозицией путем внедрения возмущений из квантовых схем. Мы предлагаем математический фреймворк и реализуем гибридные квантово-классические схемы на базе PyTorch и Qiskit. В задачах синтетической классификации последовательностей и тонкой настройки крупномасштабных LLM метод SGD демонстрирует более быструю сходимость и обеспечивает меньший итоговый показатель потерь по сравнению с AdamW. Несмотря на обнадеживающие результаты, масштабируемость и аппаратные ограничения препятствуют широкому внедрению. В целом, данная работа открывает новые перспективы на стыке квантовых вычислений и глубокого обучения, предлагая практические пути использования квантовых принципов для управления и улучшения поведения моделей.

English

Large language models (LLMs) are increasingly trained with classical optimization techniques like AdamW to improve convergence and generalization. However, the mechanisms by which quantum-inspired methods enhance classical training remain underexplored. We introduce Superpositional Gradient Descent (SGD), a novel optimizer linking gradient updates with quantum superposition by injecting quantum circuit perturbations. We present a mathematical framework and implement hybrid quantum-classical circuits in PyTorch and Qiskit. On synthetic sequence classification and large-scale LLM fine-tuning, SGD converges faster and yields lower final loss than AdamW. Despite promising results, scalability and hardware constraints limit adoption. Overall, this work provides new insights into the intersection of quantum computing and deep learning, suggesting practical pathways for leveraging quantum principles to control and enhance model behavior.