Chat2Scenic : Un cadre itératif basé sur RAG pour la génération de scénarios dans la conduite autonome

Résumé

La validation des systèmes de conduite autonome nécessite des scénarios de test diversifiés et conformes à la réglementation. Dans les tests basés sur la simulation, les scénarios sont définis sous forme de scripts exécutables. Cependant, la génération automatique de ces scripts à partir de descriptions réglementaires reste un défi ouvert, et les approches existantes font face à des compromis fondamentaux. Les méthodes de récupération et d'assemblage atteignent des taux de compilation raisonnables, mais manquent d'évolutivité, tandis que la génération complète de scripts par récupération souffre de faibles taux de réussite de compilation. Nous présentons Chat2Scenic, le premier cadre itératif augmenté par récupération pour générer des scripts de scénarios dans un langage spécifique au domaine (DSL). Plus précisément, Chat2Scenic propose une interface de chatbot qui prend en charge le raffinement interactif des scénarios et intègre la génération augmentée par récupération (RAG) pour ancrer la génération de scénarios dans les connaissances réglementaires et la syntaxe DSL. De plus, nous proposons un référentiel ouvert pour la génération de scénarios comprenant 123 scénarios provenant de diverses réglementations, notamment la NHTSA et les règlements des Nations Unies pour les véhicules, ainsi que d'autres sources. Une évaluation approfondie avec des modèles de langage de grande taille (LLMs) de pointe démontre que Chat2Scenic atteint un taux de réussite de compilation (CSR) de 76,42 % et une précision du cadre (FA) de 58,17 %, surpassant les méthodes existantes (assemblage par récupération avec 30,08 % de CSR et 11,03 % de FA, et génération complète de scripts par récupération avec 16,26 % de CSR et 10,86 % de FA). Pour faciliter les recherches futures, nous publions notre code en open source à l'adresse https://github.com/TUM-AVS/chat2scenic.

English

Validating autonomous driving systems requires diverse, regulation-compliant test scenarios. In simulation-based testing, scenarios are defined as executable scripts. Yet automatically generating such scripts from regulatory descriptions remains an open challenge, and existing approaches face fundamental trade-offs. Retrieval-assemble methods achieve reasonable compilation rates but lack scalability, whereas retrieval-based full-script generation suffers from low compilation success rates. We present Chat2Scenic, the first iterative retrieval-augmented framework to generate scenario scripts in Domain Specific Language (DSL). Specifically, Chat2Scenic provides a chatbot interface that supports interactive scenario refinement and integrates Retrieval-augmented Generation (RAG) to ground scenario generation in regulatory knowledge and DSL syntax. Furthermore, we propose an open benchmark for scenario generation comprising 123 scenarios from various regulations, including NHTSA and United Nations Vehicle Regulations, as well as other sources. Extensive evaluation with State-of-the-Art (SOTA) Large Language Models (LLMs) demonstrates that Chat2Scenic achieves 76.42% Compilation Success Rate (CSR) and 58.17% Framework Accuracy (FA), outperforming existing methods (Retrieval Assemble with 30.08% CSR, 11.03% FA and Retrieval full script generation with 16.26% CSR, 10.86% FA). To facilitate future research, we release our code as open source at https://github.com/TUM-AVS/chat2scenic.