운전석에 앉아서: 자율주행 시스템 테스팅의 현실에 관한 다중 기업 연구

초록

자율주행 시스템(ADS)은 빠르게 발전하고 있으며 실제 응용 환경에 점점 더 많이 배치되고 있다. 이에 따라 시스템의 기능성과 안전성을 보장하기 위한 효과적인 테스팅에 대한 수요도 증가하고 있다. 그러나 ADS 테스팅은 여전히 복잡하며, 시나리오 선정, 성능 평가, 수용 기준에 대한 확립된 표준이 부족한 실정이다. 현재 ADS 테스팅 관행과 과제를 더 잘 이해하기 위해, 우리는 6개국 9개 기업에서 ADS 개발 및 테스팅에 종사하는 전문가들을 대상으로 인터뷰 연구를 수행했다. 주제 분석을 통해 우리는 산업계의 테스팅 관행, 과제, 잠재적 해결 방안, 향후 동향을 종합하고, ADS 테스팅을 위한 증거 중심 폐루프 테스팅 프레임워크를 제안했다. 우리의 연구 결과는 현재의 관행이 주로 시나리오 기반 및 X-in-the-loop 테스팅 접근법에 초점을 맞추고 있으며, 다양한 도구, 지표, 벤치마크, 테스팅 전략이 이를 뒷받침하고 있음을 보여준다. 참가자들은 시나리오 현실성, 시나리오 커버리지, 시뮬레이션 충실도, 수용 기준과 관련된 주요 과제를 강조했으며, 동시에 AI, 월드 모델, 엔드투엔드 접근법의 활용과 같은 잠재적 해결 방안도 논의했다. 더 나아가 참가자들은 향후 ADS 테스팅이 산업 전반에 걸쳐 더 자동화되고, 데이터 중심적이며, 투명해질 것으로 전망했다. 종합적으로, 본 연구는 ADS 테스팅에 대한 포괄적인 산업 기반 개요를 제공하고, ADS 테스팅에 대한 실행 가능한 지침을 제시하는 증거 중심 폐루프 테스팅 프레임워크를 제안하며, 향후 연구와 실무를 위한 중요한 방향을 제시한다.

English

Autonomous driving systems (ADS) are rapidly advancing and increasingly deployed in real-world applications. This creates growing demands for effective testing to ensure system functionality and safety. However, ADS testing remains complex and lacks well-established standards for scenario selection, performance evaluation, and acceptance criteria. To better understand current ADS testing practices and challenges, we conducted an interview study with experts working on ADS development and testing in nine companies from six different countries. Through thematic analysis, we synthesized industrial testing practices, challenges, potential solutions, future trends, and proposed an evidence-centered closed-loop testing framework for ADS testing. Our findings show that current practices primarily focus on scenario-based and X-in-the-loop testing approaches, supported by diverse tools, metrics, benchmarks, and testing strategies. The participants highlighted major challenges related to scenario realism, scenario coverage, simulation fidelity, and acceptance criteria, while also discussing potential solutions such as the use of AI, world models, and end-to-end approaches. Furthermore, participants envisioned future ADS testing to become more automated, data-driven, and transparent across the industry. Overall, this study provides a comprehensive industry-grounded overview of ADS testing, proposes an evidence-centered closed-loop testing framework to provide actionable guidance for ADS testing, and outlines important directions for future research and practice.