Chat2Scenic: 自動運転におけるシナリオ生成のための反復的RAGベースフレームワーク

要旨

自動運転システムの検証には、多様かつ規制に準拠したテストシナリオが必要である。シミュレーションベースのテストでは、シナリオは実行可能スクリプトとして定義される。しかし、規制記述からそのようなスクリプトを自動生成することは依然として未解決の課題であり、既存の手法は根本的なトレードオフに直面している。検索アセンブル手法は妥当なコンパイル率を達成するがスケーラビリティに欠け、一方で検索ベースの全スクリプト生成はコンパイル成功率が低い。本稿では、ドメイン固有言語（DSL）でシナリオスクリプトを生成する初の反復的検索拡張フレームワークであるChat2Scenicを提案する。具体的には、Chat2Scenicは対話的なシナリオ洗練を支援するチャットボットインターフェースを提供し、検索拡張生成（RAG）を統合することで、規制知識とDSL構文に基づいたシナリオ生成を実現する。さらに、NHTSA（米国道路交通安全局）や国連車両規則など、様々な規制およびその他の情報源から収集した123のシナリオからなる、シナリオ生成のための公開ベンチマークを提案する。最先端（SOTA）大規模言語モデル（LLM）を用いた広範な評価により、Chat2Scenicはコンパイル成功率（CSR）76.42%、フレームワーク精度（FA）58.17%を達成し、既存手法（検索アセンブル：CSR 30.08%、FA 11.03%、検索ベース全スクリプト生成：CSR 16.26%、FA 10.86%）を上回る性能を示した。今後の研究促進のため、コードをオープンソースとしてhttps://github.com/TUM-AVS/chat2scenicで公開する。

English

Validating autonomous driving systems requires diverse, regulation-compliant test scenarios. In simulation-based testing, scenarios are defined as executable scripts. Yet automatically generating such scripts from regulatory descriptions remains an open challenge, and existing approaches face fundamental trade-offs. Retrieval-assemble methods achieve reasonable compilation rates but lack scalability, whereas retrieval-based full-script generation suffers from low compilation success rates. We present Chat2Scenic, the first iterative retrieval-augmented framework to generate scenario scripts in Domain Specific Language (DSL). Specifically, Chat2Scenic provides a chatbot interface that supports interactive scenario refinement and integrates Retrieval-augmented Generation (RAG) to ground scenario generation in regulatory knowledge and DSL syntax. Furthermore, we propose an open benchmark for scenario generation comprising 123 scenarios from various regulations, including NHTSA and United Nations Vehicle Regulations, as well as other sources. Extensive evaluation with State-of-the-Art (SOTA) Large Language Models (LLMs) demonstrates that Chat2Scenic achieves 76.42% Compilation Success Rate (CSR) and 58.17% Framework Accuracy (FA), outperforming existing methods (Retrieval Assemble with 30.08% CSR, 11.03% FA and Retrieval full script generation with 16.26% CSR, 10.86% FA). To facilitate future research, we release our code as open source at https://github.com/TUM-AVS/chat2scenic.