運転席に座って：自動運転システム試験の実態に関する複数企業調査

要旨

自動運転システム（ADS）は急速に進歩しており、実世界の応用への導入が増加している。これにより、システムの機能性と安全性を確保するための効果的なテストへの需要が高まっている。しかしながら、ADSテストは依然として複雑であり、シナリオ選択、性能評価、受入基準に関する確立された標準が十分に整備されていない。現在のADSテストの実践と課題をより深く理解するために、我々は6か国の9社でADSの開発とテストに従事する専門家を対象にインタビュー調査を実施した。テーマ分析を通じて、我々は産業界におけるテスト実践、課題、潜在的な解決策、将来の動向を統合し、ADSテストのための証拠中心のクローズドループテストフレームワークを提案した。調査結果は、現在の実践が主にシナリオベースおよびX-in-the-loopテストアプローチに焦点を当てており、多様なツール、メトリクス、ベンチマーク、テスト戦略によって支えられていることを示している。参加者は、シナリオの現実性、シナリオのカバレッジ、シミュレーションの忠実度、受入基準に関連する主要な課題を強調し、AI、ワールドモデル、エンドツーエンドのアプローチの活用などの潜在的な解決策についても議論した。さらに、参加者は将来のADSテストがより自動化され、データ駆動型となり、業界全体で透明性が高まると予想している。全体として、本研究はADSテストの包括的な産業界に根ざした概要を提供し、ADSテストのための実践的な指針を提供する証拠中心のクローズドループテストフレームワークを提案し、将来の研究と実践における重要な方向性を示すものである。

English

Autonomous driving systems (ADS) are rapidly advancing and increasingly deployed in real-world applications. This creates growing demands for effective testing to ensure system functionality and safety. However, ADS testing remains complex and lacks well-established standards for scenario selection, performance evaluation, and acceptance criteria. To better understand current ADS testing practices and challenges, we conducted an interview study with experts working on ADS development and testing in nine companies from six different countries. Through thematic analysis, we synthesized industrial testing practices, challenges, potential solutions, future trends, and proposed an evidence-centered closed-loop testing framework for ADS testing. Our findings show that current practices primarily focus on scenario-based and X-in-the-loop testing approaches, supported by diverse tools, metrics, benchmarks, and testing strategies. The participants highlighted major challenges related to scenario realism, scenario coverage, simulation fidelity, and acceptance criteria, while also discussing potential solutions such as the use of AI, world models, and end-to-end approaches. Furthermore, participants envisioned future ADS testing to become more automated, data-driven, and transparent across the industry. Overall, this study provides a comprehensive industry-grounded overview of ADS testing, proposes an evidence-centered closed-loop testing framework to provide actionable guidance for ADS testing, and outlines important directions for future research and practice.