PlannerForge: 자율주행 모션 플래너의 시나리오 기반 테스트를 위한 LLM 에이전트

초록

자율주행의 안전성을 보장하는 것은 중대한 과제이다. 시나리오 기반 테스트는 자율주행 시스템(ADS)을 검증하는 데 사용되는 체계적인 과정이지만, 시나리오 생성, 검색, 수정, ADS 실행, 결과 분석이 상호작용이 거의 없는 별도 도구들에 의해 수행되는 단편화된 모듈형 파이프라인으로 남아 있다. LLM 에이전트는 인지, 계획, 제어와 같은 ADS 하위 시스템 전반에서 가능성을 보여주었다. 그러나 ADS를 위한 전체 시나리오 기반 테스트 파이프라인을 통합된 LLM 에이전트 프레임워크로 다루는 선행 연구는 없다. 우리는 모든 시나리오 기반 테스트 단계(시나리오 생성부터 ADS 평가까지)를 확장하고 두 가지 추가 LLM 강화 단계인 ADS 향상 및 ADS 벤치마킹을 추가한 LLM 에이전트 프레임워크인 PlannerForge를 제안한다. 우리는 5가지 프롬프트 조건에서 모든 작업(생성, 선택, 수정, 모듈 라우팅, 플래너 테스트, 향상)에 걸쳐 10개의 기성 LLM으로 PlannerForge를 평가한다. 작업별 최고 점수는 0.88에서 1.00 사이이며, 오픈소스 20-35B 백엔드는 대부분의 작업에서 상용 API와 대등하다. Qwen3.6:35B와 같은 오픈소스 모델은 다섯 작업 중 세 작업에서 상용 API와 대등하다. 모듈을 엔드투엔드로 연결하면 시드 쿼리의 83% / 78%(상용 / 오픈소스)를 유지한다. 이는 자연어 생성에서 Scenario Factory 2.0(Finkeldei et al., 2025)을 능가하며(200개 중 실행 가능 193개 대 144개), 요청된 도시, 도로 및 차량 속성의 92-96%를 실현한다. 또한 순위 1 선택에서 BM25(Robertson and Zaragoza, 2009)를 능가하고(92.0% 대 67.5%), 물리적으로 유효한 편집에서 From-Words-to-Collisions(Gao et al., 2025)를 능가한다(>=94% 대 31%). N=400에서 비용 튜닝은 도메인 특화 미세 조정 없이 플래너 성공률을 50.4%에서 70.2%로 높이고 충돌을 19.0%에서 8.4%로 줄인다.

English

Ensuring the safety of autonomous driving is a critical challenge. Scenario-based testing is a systematic process used to validate Autonomous Driving Systems (ADSs), but it remains a fragmented modular pipeline in which scenario generation, retrieval, modification, ADS execution, and results analysis are performed by separate tools with little interaction. Large Language Model (LLM) agents have shown promise across ADS sub-systems such as perception, planning, and control. However, no prior work covers the whole scenario-based testing pipeline for ADSs with a unified LLM-agent framework. We present PlannerForge, an LLM-agent framework that extends all scenario-based testing stages (from Scenario Generation to ADS Assessment) and adds two further LLM-enhanced stages: ADS Enhancement and ADS Benchmarking. We evaluate PlannerForge with 10 off-the-shelf LLMs across all tasks (Generation, Selection, Modification, Module Routing, Planner Testing, and Enhancement) under 5 prompt conditions. Best-per-task scores range from 0.88 to 1.00, and open-source 20-35B backends match commercial APIs on most tasks. Open-source models such as Qwen3.6:35B match commercial APIs on three of the five tasks. Chaining the modules end-to-end retains 83% / 78% of seed queries (commercial / open). It outperforms Scenario Factory 2.0 (Finkeldei et al., 2025) on natural-language generation (193 vs. 144 executable of 200) and realises 92-96% of requested city, road and vehicle attributes. It outperforms BM25 (Robertson and Zaragoza, 2009) at rank 1 selection (92.0% vs. 67.5%) and From-Words-to-Collisions (Gao et al., 2025) on physically valid edits (>=94% vs. 31%). At N=400, cost-tuning lifts planner success from 50.4% to 70.2% and cuts collisions from 19.0% to 8.4%, without domain-specific fine-tuning.