Chat2Scenic: Un marco iterativo basado en RAG para la generación de escenarios en conducción autónoma

Resumen

La validación de sistemas de conducción autónoma requiere escenarios de prueba diversos y conformes a las regulaciones. En las pruebas basadas en simulación, los escenarios se definen como scripts ejecutables. No obstante, la generación automática de dichos scripts a partir de descripciones regulatorias sigue siendo un desafío abierto, y los enfoques existentes enfrentan compensaciones fundamentales. Los métodos de recuperación y ensamblaje logran tasas de compilación razonables pero carecen de escalabilidad, mientras que la generación completa de scripts basada en recuperación sufre bajas tasas de éxito en compilación. Presentamos Chat2Scenic, el primer marco iterativo de recuperación aumentada para generar scripts de escenarios en un Lenguaje Específico del Dominio (DSL). Específicamente, Chat2Scenic proporciona una interfaz de chatbot que admite el refinamiento interactivo de escenarios e integra la Generación Aumentada por Recuperación (RAG) para fundamentar la generación de escenarios en el conocimiento regulatorio y la sintaxis del DSL. Además, proponemos un punto de referencia abierto para la generación de escenarios que comprende 123 escenarios provenientes de diversas regulaciones, incluyendo la NHTSA y las Regulaciones de Vehículos de las Naciones Unidas, así como otras fuentes. Una evaluación exhaustiva con Modelos de Lenguaje de Gran Tamaño (LLMs) de última generación (SOTA) demuestra que Chat2Scenic alcanza un 76.42% de Tasa de Éxito de Compilación (CSR) y un 58.17% de Precisión del Marco (FA), superando a los métodos existentes (Recuperación y Ensamblaje con 30.08% CSR, 11.03% FA; y generación completa de scripts basada en recuperación con 16.26% CSR, 10.86% FA). Para facilitar futuras investigaciones, publicamos nuestro código como código abierto en https://github.com/TUM-AVS/chat2scenic.

English

Validating autonomous driving systems requires diverse, regulation-compliant test scenarios. In simulation-based testing, scenarios are defined as executable scripts. Yet automatically generating such scripts from regulatory descriptions remains an open challenge, and existing approaches face fundamental trade-offs. Retrieval-assemble methods achieve reasonable compilation rates but lack scalability, whereas retrieval-based full-script generation suffers from low compilation success rates. We present Chat2Scenic, the first iterative retrieval-augmented framework to generate scenario scripts in Domain Specific Language (DSL). Specifically, Chat2Scenic provides a chatbot interface that supports interactive scenario refinement and integrates Retrieval-augmented Generation (RAG) to ground scenario generation in regulatory knowledge and DSL syntax. Furthermore, we propose an open benchmark for scenario generation comprising 123 scenarios from various regulations, including NHTSA and United Nations Vehicle Regulations, as well as other sources. Extensive evaluation with State-of-the-Art (SOTA) Large Language Models (LLMs) demonstrates that Chat2Scenic achieves 76.42% Compilation Success Rate (CSR) and 58.17% Framework Accuracy (FA), outperforming existing methods (Retrieval Assemble with 30.08% CSR, 11.03% FA and Retrieval full script generation with 16.26% CSR, 10.86% FA). To facilitate future research, we release our code as open source at https://github.com/TUM-AVS/chat2scenic.