重ね合わせ勾配降下法：量子原理を活用したモデル訓練

要旨

大規模言語モデル（LLM）は、収束性と汎化性能の向上を目的として、AdamWのような古典的最適化手法で訓練されることが増えている。しかし、量子発想の手法が古典的訓練を強化するメカニズムは未解明の部分が多い。本研究では、量子回路摂動を注入することで勾配更新と量子重ね合わせを結びつける新規オプティマイザ「重ね合わせ勾配降下法（SGD）」を提案する。数学的枠組みを提示し、PyTorchとQiskitを用いたハイブリッド量子古典回路を実装した。合成系列分類タスクと大規模LLMファインチューニングにおける実験では、SGDがAdamWよりも高速に収束し、最終損失も低減することが示された。有望な結果が得られた一方で、拡張性とハードウェア制約が実用化の障壁となっている。総じて本研究は、量子コンピューティングと深層学習の交叉領域に新たな知見をもたらし、量子原理を活用してモデル挙動を制御・強化する実用的な道筋を示唆するものである。

English

Large language models (LLMs) are increasingly trained with classical optimization techniques like AdamW to improve convergence and generalization. However, the mechanisms by which quantum-inspired methods enhance classical training remain underexplored. We introduce Superpositional Gradient Descent (SGD), a novel optimizer linking gradient updates with quantum superposition by injecting quantum circuit perturbations. We present a mathematical framework and implement hybrid quantum-classical circuits in PyTorch and Qiskit. On synthetic sequence classification and large-scale LLM fine-tuning, SGD converges faster and yields lower final loss than AdamW. Despite promising results, scalability and hardware constraints limit adoption. Overall, this work provides new insights into the intersection of quantum computing and deep learning, suggesting practical pathways for leveraging quantum principles to control and enhance model behavior.

重ね合わせ勾配降下法：量子原理を活用したモデル訓練

Superpositional Gradient Descent: Harnessing Quantum Principles for Model Training

要旨

Support