Un enfoque de grueso a fino para la localización de ocupación 3D multimodal.

A Coarse-to-Fine Approach to Multi-Modality 3D Occupancy Grounding

August 2, 2025

Autores: Zhan Shi, Song Wang, Junbo Chen, Jianke Zhu

cs.AI

Resumen

El grounding visual tiene como objetivo identificar objetos o regiones en una escena basándose en descripciones de lenguaje natural, siendo esencial para una percepción espacialmente consciente en la conducción autónoma. Sin embargo, las tareas de grounding visual existentes suelen depender de cuadros delimitadores que a menudo no capturan detalles finos. No todos los vóxeles dentro de un cuadro delimitador están ocupados, lo que resulta en representaciones inexactas de los objetos. Para abordar esto, presentamos un benchmark para el grounding de ocupación 3D en escenas exteriores desafiantes. Basado en el conjunto de datos nuScenes, integra lenguaje natural con anotaciones de ocupación a nivel de vóxel, ofreciendo una percepción de objetos más precisa en comparación con la tarea de grounding tradicional. Además, proponemos GroundingOcc, un modelo de extremo a extremo diseñado para el grounding de ocupación 3D mediante aprendizaje multimodal. Combina características visuales, textuales y de nube de puntos para predecir la ubicación y la información de ocupación de los objetos de manera gruesa a fina. Específicamente, GroundingOcc consta de un codificador multimodal para la extracción de características, una cabeza de ocupación para predicciones por vóxel y una cabeza de grounding para refinar la localización. Además, un módulo de grounding 2D y un módulo de estimación de profundidad mejoran la comprensión geométrica, potenciando así el rendimiento del modelo. Experimentos exhaustivos en el benchmark demuestran que nuestro método supera a los baselines existentes en el grounding de ocupación 3D. El conjunto de datos está disponible en https://github.com/RONINGOD/GroundingOcc.

English

Visual grounding aims to identify objects or regions in a scene based on natural language descriptions, essential for spatially aware perception in autonomous driving. However, existing visual grounding tasks typically depend on bounding boxes that often fail to capture fine-grained details. Not all voxels within a bounding box are occupied, resulting in inaccurate object representations. To address this, we introduce a benchmark for 3D occupancy grounding in challenging outdoor scenes. Built on the nuScenes dataset, it integrates natural language with voxel-level occupancy annotations, offering more precise object perception compared to the traditional grounding task. Moreover, we propose GroundingOcc, an end-to-end model designed for 3D occupancy grounding through multi-modal learning. It combines visual, textual, and point cloud features to predict object location and occupancy information from coarse to fine. Specifically, GroundingOcc comprises a multimodal encoder for feature extraction, an occupancy head for voxel-wise predictions, and a grounding head to refine localization. Additionally, a 2D grounding module and a depth estimation module enhance geometric understanding, thereby boosting model performance. Extensive experiments on the benchmark demonstrate that our method outperforms existing baselines on 3D occupancy grounding. The dataset is available at https://github.com/RONINGOD/GroundingOcc.