QuanBench+: Ein einheitlicher Multi-Framework-Benchmark für die Quantencodegenerierung auf Basis von LLMs
QuanBench+: A Unified Multi-Framework Benchmark for LLM-Based Quantum Code Generation
March 25, 2026
Autoren: Ali Slim, Haydar Hamieh, Jawad Kotaich, Yehya Ghosn, Mahdi Chehimi, Ammar Mohanna, Hasan Abed Al Kader Hammoud, Bernard Ghanem
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) werden zunehmend zur Code-Generierung eingesetzt, doch die Quantencode-Generierung wird nach wie vor größtenteils innerhalb einzelner Frameworks evaluiert, was es schwierig macht, Quantenlogik von Framework-Kenntnissen zu trennen. Wir stellen QuanBench+ vor, einen einheitlichen Benchmark, der Qiskit, PennyLane und Cirq umfasst, mit 42 abgestimmten Aufgaben aus den Bereichen Quantenalgorithmen, Gatterzerlegung und Zustandspräparation.
Wir evaluieren Modelle mit ausführbaren Funktionstests, berichten Pass@1 und Pass@5 und verwenden eine KL-Divergenz-basierte Akzeptanz für probabilistische Ausgaben. Zusätzlich untersuchen wir Pass@1 nach feedbackbasierter Reparatur, bei der ein Modell Code nach einem Laufzeitfehler oder einer falschen Antwort überarbeiten kann. Über alle Frameworks hinweg erreichen die stärksten One-Shot-Werte 59,5 % in Qiskit, 54,8 % in Cirq und 42,9 % in PennyLane; mit feedbackbasierter Reparatur steigen die besten Werte auf 83,3 %, 76,2 % bzw. 66,7 %. Diese Ergebnisse zeigen deutliche Fortschritte, aber auch, dass eine zuverlässige multi-framework Quantencode-Generierung nach wie vor ungelöst ist und stark frameworkspezifisches Wissen erfordert.
English
Large Language Models (LLMs) are increasingly used for code generation, yet quantum code generation is still evaluated mostly within single frameworks, making it difficult to separate quantum reasoning from framework familiarity. We introduce QuanBench+, a unified benchmark spanning Qiskit, PennyLane, and Cirq, with 42 aligned tasks covering quantum algorithms, gate decomposition, and state preparation.
We evaluate models with executable functional tests, report Pass@1 and Pass@5, and use KL-divergence-based acceptance for probabilistic outputs. We additionally study Pass@1 after feedback-based repair, where a model may revise code after a runtime error or wrong answer. Across frameworks, the strongest one-shot scores reach 59.5% in Qiskit, 54.8% in Cirq, and 42.9% in PennyLane; with feedback-based repair, the best scores rise to 83.3%, 76.2%, and 66.7%, respectively. These results show clear progress, but also that reliable multi-framework quantum code generation remains unsolved and still depends strongly on framework-specific knowledge.