QUASAR: エージェント型強化学習を介したツール拡張LLMによる量子アセンブリコード生成

QUASAR: Quantum Assembly Code Generation Using Tool-Augmented LLMs via Agentic RL

October 1, 2025

著者: Cong Yu, Valter Uotila, Shilong Deng, Qingyuan Wu, Tuo Shi, Songlin Jiang, Lei You, Bo Zhao

cs.AI

要旨

タスク特化型量子回路の設計と最適化は、量子コンピューティングの利点を活用する上で極めて重要である。近年、大規模言語モデル（LLM）を基盤とした量子回路生成が、有望な自動化ソリューションとして登場している。しかし、根本的な課題は未解決のままである：（i）パラメータ化された量子ゲートは最適な性能を発揮するために正確な数値を必要とし、その数値は量子ゲートの数、パラメータ、回路のレイアウト/深さなど複数の要素に依存する。（ii）LLMは、量子領域特有の知識の不足から、低品質または誤った量子回路を生成することが多い。本論文では、ツール拡張型LLMに基づく量子回路生成と最適化のためのエージェント型強化学習（RL）フレームワークであるQUASARを提案する。LLMを量子特有の知識に適合させ、生成される量子回路を改善するために、QUASARは（i）外部量子シミュレータを用いた量子回路検証手法と（ii）RLトレーニングにおける高度な階層型報酬メカニズムを設計する。広範な評価により、生成された量子回路の構文および意味的パフォーマンスの向上が示された。4B LLMを拡張した場合、QUASARはPass@1で99.31%、Pass@10で100%の有効性を達成し、GPT-4o、GPT-5、DeepSeek-V3などの産業用LLMおよびいくつかの教師あり微調整（SFT）のみおよびRLのみのベースラインを上回った。

English

Designing and optimizing task-specific quantum circuits are crucial to leverage the advantage of quantum computing. Recent large language model (LLM)-based quantum circuit generation has emerged as a promising automatic solution. However, the fundamental challenges remain unaddressed: (i) parameterized quantum gates require precise numerical values for optimal performance, which also depend on multiple aspects, including the number of quantum gates, their parameters, and the layout/depth of the circuits. (ii) LLMs often generate low-quality or incorrect quantum circuits due to the lack of quantum domain-specific knowledge. We propose QUASAR, an agentic reinforcement learning (RL) framework for quantum circuits generation and optimization based on tool-augmented LLMs. To align the LLM with quantum-specific knowledge and improve the generated quantum circuits, QUASAR designs (i) a quantum circuit verification approach with external quantum simulators and (ii) a sophisticated hierarchical reward mechanism in RL training. Extensive evaluation shows improvements in both syntax and semantic performance of the generated quantum circuits. When augmenting a 4B LLM, QUASAR has achieved the validity of 99.31% in Pass@1 and 100% in Pass@10, outperforming industrial LLMs of GPT-4o, GPT-5 and DeepSeek-V3 and several supervised-fine-tuning (SFT)-only and RL-only baselines.