PlannerForge: 自動運転におけるモーションプランナーのシナリオベーステストのためのLLMエージェント

要旨

自動運転の安全性を確保することは重要な課題である。シナリオベーステストは、自動運転システム（ADS）を検証するために用いられる体系的なプロセスであるが、依然として、シナリオ生成、検索、修正、ADS実行、結果分析が相互連携の乏しい個別ツールによって行われる、分断されたモジュラー型パイプラインにとどまっている。大規模言語モデル（LLM）エージェントは、知覚、計画、制御などのADSサブシステムにおいて有望性を示している。しかし、統一されたLLMエージェントフレームワークによってADSのシナリオベーステストパイプライン全体を扱った先行研究はない。我々は、シナリオベーステストの全段階（シナリオ生成からADS評価まで）を拡張し、さらに2つのLLM強化段階、すなわちADS強化とADSベンチマーキングを追加するLLMエージェントフレームワークであるPlannerForgeを提示する。我々は、10種類の既製LLMを用いて、5つのプロンプト条件下で、すべてのタスク（生成、選択、修正、モジュールルーティング、プランナーテスト、強化）にわたってPlannerForgeを評価する。タスクごとの最高スコアは0.88から1.00の範囲であり、オープンソースの20～35Bバックエンドはほとんどのタスクで商用APIに匹敵する。Qwen3.6:35Bのようなオープンソースモデルは、5タスク中3タスクで商用APIに匹敵する。モジュールをエンドツーエンドで連結すると、シードクエリの83%／78%（商用／オープン）を保持する。PlannerForgeは自然言語生成においてScenario Factory 2.0（Finkeldei et al., 2025）を上回り（200件中193件対144件が実行可能）、要求された都市、道路、車両属性の92～96%を実現する。ランク1選択においてBM25（Robertson and Zaragoza, 2009）を上回り（92.0% 対 67.5%）、物理的に有効な編集においてFrom-Words-to-Collisions（Gao et al., 2025）を上回る（94%以上対 31%）。N=400において、コストチューニングはドメイン固有のファインチューニングなしで、プランナー成功率を50.4%から70.2%へ引き上げ、衝突を19.0%から8.4%へ削減する。

English

Ensuring the safety of autonomous driving is a critical challenge. Scenario-based testing is a systematic process used to validate Autonomous Driving Systems (ADSs), but it remains a fragmented modular pipeline in which scenario generation, retrieval, modification, ADS execution, and results analysis are performed by separate tools with little interaction. Large Language Model (LLM) agents have shown promise across ADS sub-systems such as perception, planning, and control. However, no prior work covers the whole scenario-based testing pipeline for ADSs with a unified LLM-agent framework. We present PlannerForge, an LLM-agent framework that extends all scenario-based testing stages (from Scenario Generation to ADS Assessment) and adds two further LLM-enhanced stages: ADS Enhancement and ADS Benchmarking. We evaluate PlannerForge with 10 off-the-shelf LLMs across all tasks (Generation, Selection, Modification, Module Routing, Planner Testing, and Enhancement) under 5 prompt conditions. Best-per-task scores range from 0.88 to 1.00, and open-source 20-35B backends match commercial APIs on most tasks. Open-source models such as Qwen3.6:35B match commercial APIs on three of the five tasks. Chaining the modules end-to-end retains 83% / 78% of seed queries (commercial / open). It outperforms Scenario Factory 2.0 (Finkeldei et al., 2025) on natural-language generation (193 vs. 144 executable of 200) and realises 92-96% of requested city, road and vehicle attributes. It outperforms BM25 (Robertson and Zaragoza, 2009) at rank 1 selection (92.0% vs. 67.5%) and From-Words-to-Collisions (Gao et al., 2025) on physically valid edits (>=94% vs. 31%). At N=400, cost-tuning lifts planner success from 50.4% to 70.2% and cuts collisions from 19.0% to 8.4%, without domain-specific fine-tuning.