DrivingGen: Un Benchmark Completo per Modelli di Mondo Video Generativi nella Guida Autonoma

DrivingGen: A Comprehensive Benchmark for Generative Video World Models in Autonomous Driving

January 4, 2026

Autori: Yang Zhou, Hao Shao, Letian Wang, Zhuofan Zong, Hongsheng Li, Steven L. Waslander

cs.AI

Abstract

I modelli di generazione video, come forma di modelli del mondo, sono emersi come una delle frontiere più entusiasmanti nell'IA, promettendo agli agenti la capacità di immaginare il futuro modellando l'evoluzione temporale di scene complesse. Nella guida autonoma, questa visione dà vita ai modelli del mondo della guida: simulatori generativi che immaginano futuri percorsi dell'ego-veicolo e degli altri agenti, abilitando simulazioni scalabili, test sicuri di casi limite e la generazione di ricchi dati sintetici. Tuttavia, nonostante la rapida crescita dell'attività di ricerca, il campo manca di un benchmark rigoroso per misurare i progressi e guidare le priorità. Le valutazioni esistenti rimangono limitate: le metriche video generiche trascurano fattori critici per la sicurezza nell'imaging; la plausibilità della traiettoria è raramente quantificata; la coerenza temporale e a livello di agente viene trascurata; e la controllabilità rispetto ai condizionamenti dell'ego-veicolo è ignorata. Inoltre, gli attuali dataset non coprono la diversità di condizioni necessarie per il dispiegamento nel mondo reale. Per colmare queste lacune, presentiamo DrivingGen, il primo benchmark completo per i modelli generativi del mondo della guida. DrivingGen combina un dataset di valutazione diversificato, curato sia da dataset di guida che da fonti video su scala internet, che copre vari condizioni meteorologiche, momenti della giornata, regioni geografiche e manovre complesse, con una serie di nuove metriche che valutano congiuntamente realismo visivo, plausibilità della traiettoria, coerenza temporale e controllabilità. Il benchmarking di 14 modelli all'avanguardia rivela chiari compromessi: i modelli generalisti appaiono più realistici ma violano la fisica, mentre quelli specifici per la guida catturano il movimento in modo realistico ma sono in ritardo nella qualità visiva. DrivingGen offre un framework di valutazione unificato per promuovere modelli del mondo della guida affidabili, controllabili e distribuibili, abilitando simulazioni scalabili, pianificazione e processi decisionali basati sui dati.

English

Video generation models, as one form of world models, have emerged as one of the most exciting frontiers in AI, promising agents the ability to imagine the future by modeling the temporal evolution of complex scenes. In autonomous driving, this vision gives rise to driving world models: generative simulators that imagine ego and agent futures, enabling scalable simulation, safe testing of corner cases, and rich synthetic data generation. Yet, despite fast-growing research activity, the field lacks a rigorous benchmark to measure progress and guide priorities. Existing evaluations remain limited: generic video metrics overlook safety-critical imaging factors; trajectory plausibility is rarely quantified; temporal and agent-level consistency is neglected; and controllability with respect to ego conditioning is ignored. Moreover, current datasets fail to cover the diversity of conditions required for real-world deployment. To address these gaps, we present DrivingGen, the first comprehensive benchmark for generative driving world models. DrivingGen combines a diverse evaluation dataset curated from both driving datasets and internet-scale video sources, spanning varied weather, time of day, geographic regions, and complex maneuvers, with a suite of new metrics that jointly assess visual realism, trajectory plausibility, temporal coherence, and controllability. Benchmarking 14 state-of-the-art models reveals clear trade-offs: general models look better but break physics, while driving-specific ones capture motion realistically but lag in visual quality. DrivingGen offers a unified evaluation framework to foster reliable, controllable, and deployable driving world models, enabling scalable simulation, planning, and data-driven decision-making.