Chat2Scenic: 자율주행 시나리오 생성을 위한 반복적 RAG 기반 프레임워크

초록

자율주행 시스템의 검증을 위해서는 다양한 규정을 준수하는 테스트 시나리오가 필요하다. 시뮬레이션 기반 테스트에서 시나리오는 실행 가능한 스크립트로 정의된다. 그러나 규제 설명으로부터 이러한 스크립트를 자동으로 생성하는 것은 여전히 해결되지 않은 과제이며, 기존 접근법은 근본적인 트레이드오프에 직면해 있다. 검색-조립(retrieval-assemble) 방식은 합리적인 컴파일 성공률을 달성하지만 확장성이 부족한 반면, 검색 기반 전체 스크립트 생성은 낮은 컴파일 성공률을 보인다. 본 논문에서는 도메인 특화 언어(DSL)로 시나리오 스크립트를 생성하는 최초의 반복적 검색 증강 프레임워크인 Chat2Scenic을 제시한다. 구체적으로 Chat2Scenic은 대화형 시나리오 개선을 지원하는 챗봇 인터페이스를 제공하며, 검색 증강 생성(RAG)을 통합하여 규제 지식과 DSL 문법에 기반한 시나리오 생성을 지원한다. 또한 NHTSA 및 유엔 차량 규정을 비롯한 다양한 규제 문서와 기타 출처로부터 추출한 123개의 시나리오로 구성된 시나리오 생성용 공개 벤치마크를 제안한다. 최신 거대 언어 모델(LLM)을 사용한 광범위한 평가 결과, Chat2Scenic은 76.42%의 컴파일 성공률(CSR)과 58.17%의 프레임워크 정확도(FA)를 달성하여 기존 방식(검색-조립: CSR 30.08%, FA 11.03%; 검색 기반 전체 스크립트 생성: CSR 16.26%, FA 10.86%)을 능가하는 성능을 입증했다. 향후 연구를 위해 코드를 오픈소스로 공개한다(https://github.com/TUM-AVS/chat2scenic).

English

Validating autonomous driving systems requires diverse, regulation-compliant test scenarios. In simulation-based testing, scenarios are defined as executable scripts. Yet automatically generating such scripts from regulatory descriptions remains an open challenge, and existing approaches face fundamental trade-offs. Retrieval-assemble methods achieve reasonable compilation rates but lack scalability, whereas retrieval-based full-script generation suffers from low compilation success rates. We present Chat2Scenic, the first iterative retrieval-augmented framework to generate scenario scripts in Domain Specific Language (DSL). Specifically, Chat2Scenic provides a chatbot interface that supports interactive scenario refinement and integrates Retrieval-augmented Generation (RAG) to ground scenario generation in regulatory knowledge and DSL syntax. Furthermore, we propose an open benchmark for scenario generation comprising 123 scenarios from various regulations, including NHTSA and United Nations Vehicle Regulations, as well as other sources. Extensive evaluation with State-of-the-Art (SOTA) Large Language Models (LLMs) demonstrates that Chat2Scenic achieves 76.42% Compilation Success Rate (CSR) and 58.17% Framework Accuracy (FA), outperforming existing methods (Retrieval Assemble with 30.08% CSR, 11.03% FA and Retrieval full script generation with 16.26% CSR, 10.86% FA). To facilitate future research, we release our code as open source at https://github.com/TUM-AVS/chat2scenic.