Chat2Scenic: Итеративный фреймворк на основе RAG для генерации сценариев в автономном вождении

Аннотация

Валидация автономных систем вождения требует разнообразных, соответствующих нормативным требованиям тестовых сценариев. В тестировании на основе симуляции сценарии определяются как исполняемые скрипты. Однако автоматическая генерация таких скриптов из описаний нормативных требований остается открытой задачей, а существующие подходы сталкиваются с фундаментальными компромиссами. Методы извлечения и сборки достигают приемлемых показателей компиляции, но не обладают масштабируемостью, в то время как генерация полного сценария на основе извлечения страдает низкой успешностью компиляции. Мы представляем Chat2Scenic — первую итеративную платформу с дополнением извлечения для генерации скриптов сценариев на предметно-ориентированном языке (DSL). В частности, Chat2Scenic предоставляет интерфейс чат-бота, поддерживающий интерактивное уточнение сценариев, и интегрирует генерацию с дополнением извлечения (RAG) для обоснования генерации сценариев на основе нормативных знаний и синтаксиса DSL. Кроме того, мы предлагаем открытый эталонный набор для генерации сценариев, включающий 123 сценария из различных нормативных документов, в том числе NHTSA и Правил ООН по транспортным средствам, а также других источников. Обширная оценка с использованием современных больших языковых моделей (LLM) показывает, что Chat2Scenic достигает 76,42% процента успешной компиляции (CSR) и 58,17% точности платформы (FA), превосходя существующие методы (извлечение и сборка: 30,08% CSR, 11,03% FA; генерация полного сценария на основе извлечения: 16,26% CSR, 10,86% FA). Для содействия будущим исследованиям мы публикуем наш код в открытом доступе по адресу https://github.com/TUM-AVS/chat2scenic.

English

Validating autonomous driving systems requires diverse, regulation-compliant test scenarios. In simulation-based testing, scenarios are defined as executable scripts. Yet automatically generating such scripts from regulatory descriptions remains an open challenge, and existing approaches face fundamental trade-offs. Retrieval-assemble methods achieve reasonable compilation rates but lack scalability, whereas retrieval-based full-script generation suffers from low compilation success rates. We present Chat2Scenic, the first iterative retrieval-augmented framework to generate scenario scripts in Domain Specific Language (DSL). Specifically, Chat2Scenic provides a chatbot interface that supports interactive scenario refinement and integrates Retrieval-augmented Generation (RAG) to ground scenario generation in regulatory knowledge and DSL syntax. Furthermore, we propose an open benchmark for scenario generation comprising 123 scenarios from various regulations, including NHTSA and United Nations Vehicle Regulations, as well as other sources. Extensive evaluation with State-of-the-Art (SOTA) Large Language Models (LLMs) demonstrates that Chat2Scenic achieves 76.42% Compilation Success Rate (CSR) and 58.17% Framework Accuracy (FA), outperforming existing methods (Retrieval Assemble with 30.08% CSR, 11.03% FA and Retrieval full script generation with 16.26% CSR, 10.86% FA). To facilitate future research, we release our code as open source at https://github.com/TUM-AVS/chat2scenic.