Modelos Generativos Baseados em Difusão para Previsão de Ocupação 3D em Condução Autônoma

Diffusion-Based Generative Models for 3D Occupancy Prediction in Autonomous Driving

May 29, 2025

Autores: Yunshen Wang, Yicheng Liu, Tianyuan Yuan, Yucheng Mao, Yingshi Liang, Xiuyu Yang, Honggang Zhang, Hang Zhao

cs.AI

Resumo

Prever com precisão grades de ocupação 3D a partir de entradas visuais é crucial para a condução autônoma, mas os métodos discriminativos atuais enfrentam dificuldades com dados ruidosos, observações incompletas e as estruturas complexas inerentes às cenas 3D. Neste trabalho, reformulamos a previsão de ocupação 3D como uma tarefa de modelagem generativa utilizando modelos de difusão, que aprendem a distribuição subjacente dos dados e incorporam prioridades de cenas 3D. Essa abordagem melhora a consistência das previsões, a robustez ao ruído e lida melhor com as complexidades das estruturas espaciais 3D. Nossos experimentos extensivos mostram que os modelos generativos baseados em difusão superam as abordagens discriminativas de ponta, fornecendo previsões de ocupação mais realistas e precisas, especialmente em regiões ocluídas ou de baixa visibilidade. Além disso, as previsões aprimoradas beneficiam significativamente as tarefas de planejamento subsequentes, destacando as vantagens práticas do nosso método para aplicações reais de condução autônoma.

English

Accurately predicting 3D occupancy grids from visual inputs is critical for autonomous driving, but current discriminative methods struggle with noisy data, incomplete observations, and the complex structures inherent in 3D scenes. In this work, we reframe 3D occupancy prediction as a generative modeling task using diffusion models, which learn the underlying data distribution and incorporate 3D scene priors. This approach enhances prediction consistency, noise robustness, and better handles the intricacies of 3D spatial structures. Our extensive experiments show that diffusion-based generative models outperform state-of-the-art discriminative approaches, delivering more realistic and accurate occupancy predictions, especially in occluded or low-visibility regions. Moreover, the improved predictions significantly benefit downstream planning tasks, highlighting the practical advantages of our method for real-world autonomous driving applications.