Un Approccio da Grossolano a Fine per il Grounding di Occupanza 3D Multi-Modalità

A Coarse-to-Fine Approach to Multi-Modality 3D Occupancy Grounding

August 2, 2025

Autori: Zhan Shi, Song Wang, Junbo Chen, Jianke Zhu

cs.AI

Abstract

Il visual grounding mira a identificare oggetti o regioni in una scena basandosi su descrizioni in linguaggio naturale, essenziale per una percezione spazialmente consapevole nella guida autonoma. Tuttavia, i compiti di visual grounding esistenti dipendono tipicamente da bounding box che spesso non riescono a catturare dettagli fini. Non tutti i voxel all'interno di una bounding box sono occupati, risultando in rappresentazioni imprecise degli oggetti. Per affrontare questo problema, introduciamo un benchmark per il 3D occupancy grounding in scene esterne complesse. Costruito sul dataset nuScenes, integra il linguaggio naturale con annotazioni di occupazione a livello di voxel, offrendo una percezione degli oggetti più precisa rispetto al tradizionale compito di grounding. Inoltre, proponiamo GroundingOcc, un modello end-to-end progettato per il 3D occupancy grounding attraverso l'apprendimento multimodale. Combina caratteristiche visive, testuali e di point cloud per prevedere la posizione degli oggetti e le informazioni di occupazione da un livello grossolano a uno fine. Nello specifico, GroundingOcc comprende un encoder multimodale per l'estrazione delle caratteristiche, una testa di occupazione per previsioni voxel-wise e una testa di grounding per affinare la localizzazione. Inoltre, un modulo di grounding 2D e un modulo di stima della profondità migliorano la comprensione geometrica, aumentando così le prestazioni del modello. Esperimenti estesi sul benchmark dimostrano che il nostro metodo supera i baseline esistenti nel 3D occupancy grounding. Il dataset è disponibile all'indirizzo https://github.com/RONINGOD/GroundingOcc.

English

Visual grounding aims to identify objects or regions in a scene based on natural language descriptions, essential for spatially aware perception in autonomous driving. However, existing visual grounding tasks typically depend on bounding boxes that often fail to capture fine-grained details. Not all voxels within a bounding box are occupied, resulting in inaccurate object representations. To address this, we introduce a benchmark for 3D occupancy grounding in challenging outdoor scenes. Built on the nuScenes dataset, it integrates natural language with voxel-level occupancy annotations, offering more precise object perception compared to the traditional grounding task. Moreover, we propose GroundingOcc, an end-to-end model designed for 3D occupancy grounding through multi-modal learning. It combines visual, textual, and point cloud features to predict object location and occupancy information from coarse to fine. Specifically, GroundingOcc comprises a multimodal encoder for feature extraction, an occupancy head for voxel-wise predictions, and a grounding head to refine localization. Additionally, a 2D grounding module and a depth estimation module enhance geometric understanding, thereby boosting model performance. Extensive experiments on the benchmark demonstrate that our method outperforms existing baselines on 3D occupancy grounding. The dataset is available at https://github.com/RONINGOD/GroundingOcc.