DrivingGen : Un Référentiel Complet pour les Modèles de Monde Vidéo Génératifs dans la Conduite Autonome

DrivingGen: A Comprehensive Benchmark for Generative Video World Models in Autonomous Driving

January 4, 2026

papers.authors: Yang Zhou, Hao Shao, Letian Wang, Zhuofan Zong, Hongsheng Li, Steven L. Waslander

cs.AI

papers.abstract

Les modèles de génération vidéo, en tant que forme de modèles du monde, sont apparus comme l'une des frontières les plus excitantes de l'IA, promettant aux agents la capacité d'imaginer le futur en modélisant l'évolution temporelle de scènes complexes. Dans la conduite autonome, cette vision donne naissance aux modèles du monde de la conduite : des simulateurs génératifs qui imaginent les futurs de l'ego et des agents, permettant une simulation évolutive, des tests sécurisés de cas limites et une génération riche de données synthétiques. Pourtant, malgré une activité de recherche en croissance rapide, le domaine manque d'un benchmark rigoureux pour mesurer les progrès et guider les priorités. Les évaluations existantes restent limitées : les métriques vidéo génériques négligent les facteurs d'imagerie critiques pour la sécurité ; la plausibilité des trajectoires est rarement quantifiée ; la cohérence temporelle et au niveau des agents est négligée ; et la contrôlabilité par conditionnement de l'ego est ignorée. De plus, les jeux de données actuels ne couvrent pas la diversité des conditions requises pour un déploiement réel. Pour combler ces lacunes, nous présentons DrivingGen, le premier benchmark complet pour les modèles génératifs du monde de la conduite. DrivingGen combine un jeu de données d'évaluation diversifié, constitué à partir de jeux de données de conduite et de sources vidéo à l'échelle d'Internet, couvrant diverses conditions météorologiques, moments de la journée, régions géographiques et manœuvres complexes, avec une série de nouvelles métriques évaluant conjointement le réalisme visuel, la plausibilité des trajectoires, la cohérence temporelle et la contrôlabilité. L'évaluation de 14 modèles de pointe révèle des compromis clairs : les modèles généraux semblent meilleurs mais violent la physique, tandis que ceux spécifiques à la conduite capturent le mouvement de manière réaliste mais accusent un retard en qualité visuelle. DrivingGen offre un cadre d'évaluation unifié pour favoriser le développement de modèles du monde de la conduite fiables, contrôlables et déployables, permettant une simulation évolutive, la planification et une prise de décision fondée sur les données.

English

Video generation models, as one form of world models, have emerged as one of the most exciting frontiers in AI, promising agents the ability to imagine the future by modeling the temporal evolution of complex scenes. In autonomous driving, this vision gives rise to driving world models: generative simulators that imagine ego and agent futures, enabling scalable simulation, safe testing of corner cases, and rich synthetic data generation. Yet, despite fast-growing research activity, the field lacks a rigorous benchmark to measure progress and guide priorities. Existing evaluations remain limited: generic video metrics overlook safety-critical imaging factors; trajectory plausibility is rarely quantified; temporal and agent-level consistency is neglected; and controllability with respect to ego conditioning is ignored. Moreover, current datasets fail to cover the diversity of conditions required for real-world deployment. To address these gaps, we present DrivingGen, the first comprehensive benchmark for generative driving world models. DrivingGen combines a diverse evaluation dataset curated from both driving datasets and internet-scale video sources, spanning varied weather, time of day, geographic regions, and complex maneuvers, with a suite of new metrics that jointly assess visual realism, trajectory plausibility, temporal coherence, and controllability. Benchmarking 14 state-of-the-art models reveals clear trade-offs: general models look better but break physics, while driving-specific ones capture motion realistically but lag in visual quality. DrivingGen offers a unified evaluation framework to foster reliable, controllable, and deployable driving world models, enabling scalable simulation, planning, and data-driven decision-making.