QUASAR: Geração de Código de Montagem Quântica Usando LLMs Aumentados por Ferramentas via RL Agente

QUASAR: Quantum Assembly Code Generation Using Tool-Augmented LLMs via Agentic RL

October 1, 2025

Autores: Cong Yu, Valter Uotila, Shilong Deng, Qingyuan Wu, Tuo Shi, Songlin Jiang, Lei You, Bo Zhao

cs.AI

Resumo

Projetar e otimizar circuitos quânticos específicos para tarefas é crucial para aproveitar a vantagem da computação quântica. A geração recente de circuitos quânticos baseada em modelos de linguagem de grande escala (LLM) surgiu como uma solução automática promissora. No entanto, os desafios fundamentais permanecem sem solução: (i) portas quânticas parametrizadas exigem valores numéricos precisos para um desempenho ideal, que também dependem de múltiplos aspectos, incluindo o número de portas quânticas, seus parâmetros e o layout/profundidade dos circuitos. (ii) LLMs frequentemente geram circuitos quânticos de baixa qualidade ou incorretos devido à falta de conhecimento específico do domínio quântico. Propomos o QUASAR, um framework de aprendizado por reforço (RL) agentivo para geração e otimização de circuitos quânticos baseado em LLMs aumentados por ferramentas. Para alinhar o LLM com conhecimento específico de quântica e melhorar os circuitos quânticos gerados, o QUASAR projeta (i) uma abordagem de verificação de circuitos quânticos com simuladores quânticos externos e (ii) um mecanismo de recompensa hierárquico sofisticado no treinamento de RL. Avaliações extensivas mostram melhorias tanto no desempenho sintático quanto semântico dos circuitos quânticos gerados. Ao aumentar um LLM de 4B, o QUASAR alcançou uma validade de 99,31% em Pass@1 e 100% em Pass@10, superando LLMs industriais como GPT-4o, GPT-5 e DeepSeek-V3, além de várias baselines que utilizam apenas ajuste fino supervisionado (SFT) ou apenas RL.

English

Designing and optimizing task-specific quantum circuits are crucial to leverage the advantage of quantum computing. Recent large language model (LLM)-based quantum circuit generation has emerged as a promising automatic solution. However, the fundamental challenges remain unaddressed: (i) parameterized quantum gates require precise numerical values for optimal performance, which also depend on multiple aspects, including the number of quantum gates, their parameters, and the layout/depth of the circuits. (ii) LLMs often generate low-quality or incorrect quantum circuits due to the lack of quantum domain-specific knowledge. We propose QUASAR, an agentic reinforcement learning (RL) framework for quantum circuits generation and optimization based on tool-augmented LLMs. To align the LLM with quantum-specific knowledge and improve the generated quantum circuits, QUASAR designs (i) a quantum circuit verification approach with external quantum simulators and (ii) a sophisticated hierarchical reward mechanism in RL training. Extensive evaluation shows improvements in both syntax and semantic performance of the generated quantum circuits. When augmenting a 4B LLM, QUASAR has achieved the validity of 99.31% in Pass@1 and 100% in Pass@10, outperforming industrial LLMs of GPT-4o, GPT-5 and DeepSeek-V3 and several supervised-fine-tuning (SFT)-only and RL-only baselines.