Diffusiegebaseerde generatieve modellen voor 3D-bezettingsvoorspelling in autonoom rijden

Diffusion-Based Generative Models for 3D Occupancy Prediction in Autonomous Driving

May 29, 2025

Auteurs: Yunshen Wang, Yicheng Liu, Tianyuan Yuan, Yucheng Mao, Yingshi Liang, Xiuyu Yang, Honggang Zhang, Hang Zhao

cs.AI

Samenvatting

Het nauwkeurig voorspellen van 3D-occupatiegrids op basis van visuele invoer is cruciaal voor autonoom rijden, maar huidige discriminatieve methoden worstelen met ruis in de data, onvolledige waarnemingen en de complexe structuren die inherent zijn aan 3D-scènes. In dit werk herformuleren we 3D-occupatievoorspelling als een generatieve modelleertaak met behulp van diffusiemodellen, die de onderliggende datadistributie leren en 3D-scènepriors incorporeren. Deze aanpak verbetert de voorspellingsconsistentie, robuustheid tegen ruis en gaat beter om met de complexiteit van 3D-ruimtelijke structuren. Onze uitgebreide experimenten tonen aan dat diffusiegebaseerde generatieve modellen state-of-the-art discriminatieve benaderingen overtreffen, wat resulteert in realistischer en nauwkeurigere occupatievoorspellingen, vooral in verborgen of slecht zichtbare gebieden. Bovendien dragen de verbeterde voorspellingen significant bij aan downstream plannings taken, wat de praktische voordelen van onze methode voor real-world autonome rijdtoepassingen benadrukt.

English

Accurately predicting 3D occupancy grids from visual inputs is critical for autonomous driving, but current discriminative methods struggle with noisy data, incomplete observations, and the complex structures inherent in 3D scenes. In this work, we reframe 3D occupancy prediction as a generative modeling task using diffusion models, which learn the underlying data distribution and incorporate 3D scene priors. This approach enhances prediction consistency, noise robustness, and better handles the intricacies of 3D spatial structures. Our extensive experiments show that diffusion-based generative models outperform state-of-the-art discriminative approaches, delivering more realistic and accurate occupancy predictions, especially in occluded or low-visibility regions. Moreover, the improved predictions significantly benefit downstream planning tasks, highlighting the practical advantages of our method for real-world autonomous driving applications.