Chat2Scenic: Een iteratief RAG-gebaseerd framework voor scenariogeneratie in autonoom rijden.

Samenvatting

Het valideren van autonome rijsystemen vereist diverse, aan regelgeving voldoenende testscenario's. Bij simulatiegebaseerd testen worden scenario's gedefinieerd als uitvoerbare scripts. Het automatisch genereren van dergelijke scripts op basis van regelgevende beschrijvingen blijft echter een open uitdaging, en bestaande benaderingen kennen fundamentele afwegingen. Retrieval-assembly-methoden behalen redelijke compilatiepercentages, maar missen schaalbaarheid, terwijl retrieval-gebaseerde volledige-scriptgeneratie lijdt onder lage compilatiesuccespercentages. Wij presenteren Chat2Scenic, het eerste iteratieve retrieval-augmented raamwerk voor het genereren van scenarioscripts in een Domeinspecifieke Taal (DSL). Specifiek biedt Chat2Scenic een chatbotinterface die interactieve scenarioverfijning ondersteunt en Retrieval-augmented Generation (RAG) integreert om scenariogeneratie te grondvesten op regelgevende kennis en DSL-syntaxis. Verder stellen we een open benchmark voor scenariogeneratie voor, bestaande uit 123 scenario's uit diverse regelgeving, waaronder NHTSA- en VN-Voertuigreglementen, en andere bronnen. Uitgebreide evaluatie met State-of-the-Art (SOTA) Grote Taalmodellen (LLM's) toont aan dat Chat2Scenic een Compilatiesuccespercentage (CSR) van 76,42% en een Raamwerknauwkeurigheid (FA) van 58,17% behaalt, waarmee het beter presteert dan bestaande methoden (Retrieval Assemble met 30,08% CSR, 11,03% FA en Retrieval volledige scriptgeneratie met 16,26% CSR, 10,86% FA). Om toekomstig onderzoek te faciliteren, stellen we onze code open source beschikbaar op https://github.com/TUM-AVS/chat2scenic.

English

Validating autonomous driving systems requires diverse, regulation-compliant test scenarios. In simulation-based testing, scenarios are defined as executable scripts. Yet automatically generating such scripts from regulatory descriptions remains an open challenge, and existing approaches face fundamental trade-offs. Retrieval-assemble methods achieve reasonable compilation rates but lack scalability, whereas retrieval-based full-script generation suffers from low compilation success rates. We present Chat2Scenic, the first iterative retrieval-augmented framework to generate scenario scripts in Domain Specific Language (DSL). Specifically, Chat2Scenic provides a chatbot interface that supports interactive scenario refinement and integrates Retrieval-augmented Generation (RAG) to ground scenario generation in regulatory knowledge and DSL syntax. Furthermore, we propose an open benchmark for scenario generation comprising 123 scenarios from various regulations, including NHTSA and United Nations Vehicle Regulations, as well as other sources. Extensive evaluation with State-of-the-Art (SOTA) Large Language Models (LLMs) demonstrates that Chat2Scenic achieves 76.42% Compilation Success Rate (CSR) and 58.17% Framework Accuracy (FA), outperforming existing methods (Retrieval Assemble with 30.08% CSR, 11.03% FA and Retrieval full script generation with 16.26% CSR, 10.86% FA). To facilitate future research, we release our code as open source at https://github.com/TUM-AVS/chat2scenic.