DrivingGen: Een Uitgebreide Benchmark voor Generatieve Videowereldmodellen in Autonome Rijsystemen

DrivingGen: A Comprehensive Benchmark for Generative Video World Models in Autonomous Driving

January 4, 2026

Auteurs: Yang Zhou, Hao Shao, Letian Wang, Zhuofan Zong, Hongsheng Li, Steven L. Waslander

cs.AI

Samenvatting

Videogeneratiemodellen, als een vorm van wereldmodellen, zijn naar voren gekomen als een van de meest opwindende fronten in AI. Ze beloven agents het vermogen om de toekomst te verbeelden door de temporele evolutie van complexe scènes te modelleren. In autonoom rijden geeft dit visioen aanleiding tot rijsimulatiemodellen: generatieve simulators die de toekomst van het ego-voertuig en andere verkeersdeelnemers imagineren, waardoor schaalbare simulatie, veilige tests van uitzonderlijke situaties en generatie van rijke synthetische data mogelijk worden. Desondanks ontbreekt het, ondanks snelgroeiende onderzoeksactiviteit, aan een rigoureus benchmark om vooruitgang te meten en prioriteiten te sturen. Bestaande evaluaties blijven beperkt: generieke videometrieken negeren veiligheidskritieke beeldaspecten; trajectgeloofwaardigheid wordt zelden gekwantificeerd; temporele en agentniveau-consistentie wordt verwaarloosd; en bestuurbaarheid via ego-conditionering wordt genegeerd. Bovendien slagen huidige datasets er niet in de diversiteit aan condities te dekken die nodig is voor praktijkimplementatie. Om deze lacunes aan te pakken, presenteren wij DrivingGen, de eerste uitgebreide benchmark voor generatieve rijsimulatiemodellen. DrivingGen combineert een diverse evaluatiedataset, samengesteld uit zowel rijdatasets als internetbrede videobronnen, die varieert in weersomstandigheden, tijdstip, geografische regio's en complexe manoeuvres, met een reeks nieuwe metrieken die gezamenlijk visuele realisme, trajectgeloofwaardigheid, temporele coherentie en bestuurbaarheid beoordelen. Evaluatie van 14 state-of-the-art modellen onthult duidelijke afwegingen: algemene modellen zien er beter uit maar schenden natuurkundige wetten, terwijl rij-specifieke modellen beweging realistisch vastleggen maar achterblijven in visuele kwaliteit. DrivingGen biedt een uniform evaluatieraamwerk om betrouwbare, bestuurbare en inzetbare rijsimulatiemodellen te bevorderen, waardoor schaalbare simulatie, planning en data-gedreven besluitvorming mogelijk worden.

English

Video generation models, as one form of world models, have emerged as one of the most exciting frontiers in AI, promising agents the ability to imagine the future by modeling the temporal evolution of complex scenes. In autonomous driving, this vision gives rise to driving world models: generative simulators that imagine ego and agent futures, enabling scalable simulation, safe testing of corner cases, and rich synthetic data generation. Yet, despite fast-growing research activity, the field lacks a rigorous benchmark to measure progress and guide priorities. Existing evaluations remain limited: generic video metrics overlook safety-critical imaging factors; trajectory plausibility is rarely quantified; temporal and agent-level consistency is neglected; and controllability with respect to ego conditioning is ignored. Moreover, current datasets fail to cover the diversity of conditions required for real-world deployment. To address these gaps, we present DrivingGen, the first comprehensive benchmark for generative driving world models. DrivingGen combines a diverse evaluation dataset curated from both driving datasets and internet-scale video sources, spanning varied weather, time of day, geographic regions, and complex maneuvers, with a suite of new metrics that jointly assess visual realism, trajectory plausibility, temporal coherence, and controllability. Benchmarking 14 state-of-the-art models reveals clear trade-offs: general models look better but break physics, while driving-specific ones capture motion realistically but lag in visual quality. DrivingGen offers a unified evaluation framework to foster reliable, controllable, and deployable driving world models, enabling scalable simulation, planning, and data-driven decision-making.