Een grof-naar-fijn benadering voor multi-modaliteit 3D bezettingsbepaling

A Coarse-to-Fine Approach to Multi-Modality 3D Occupancy Grounding

August 2, 2025

Auteurs: Zhan Shi, Song Wang, Junbo Chen, Jianke Zhu

cs.AI

Samenvatting

Visuele grounding heeft als doel objecten of regio's in een scène te identificeren op basis van natuurlijke taal beschrijvingen, wat essentieel is voor ruimtelijk bewuste perceptie in autonoom rijden. Bestaande visuele grounding taken zijn echter doorgaans afhankelijk van begrenzingsvakken die vaak niet in staat zijn om fijnmazige details vast te leggen. Niet alle voxels binnen een begrenzingsvak zijn bezet, wat resulteert in onnauwkeurige objectrepresentaties. Om dit aan te pakken, introduceren we een benchmark voor 3D occupancy grounding in uitdagende buitenomgevingen. Gebaseerd op de nuScenes dataset, integreert het natuurlijke taal met voxel-niveau occupancy annotaties, wat een nauwkeurigere objectperceptie biedt in vergelijking met de traditionele grounding taak. Bovendien stellen we GroundingOcc voor, een end-to-end model ontworpen voor 3D occupancy grounding door middel van multi-modale learning. Het combineert visuele, tekstuele en point cloud kenmerken om de objectlocatie en occupancy informatie van grof naar fijn te voorspellen. Specifiek bestaat GroundingOcc uit een multimodale encoder voor kenmerk extractie, een occupancy head voor voxel-gewijze voorspellingen, en een grounding head om de lokalisatie te verfijnen. Daarnaast verbeteren een 2D grounding module en een diepte schattingsmodule het geometrische begrip, waardoor de modelprestaties worden verhoogd. Uitgebreide experimenten op de benchmark tonen aan dat onze methode de bestaande baselines overtreft op 3D occupancy grounding. De dataset is beschikbaar op https://github.com/RONINGOD/GroundingOcc.

English

Visual grounding aims to identify objects or regions in a scene based on natural language descriptions, essential for spatially aware perception in autonomous driving. However, existing visual grounding tasks typically depend on bounding boxes that often fail to capture fine-grained details. Not all voxels within a bounding box are occupied, resulting in inaccurate object representations. To address this, we introduce a benchmark for 3D occupancy grounding in challenging outdoor scenes. Built on the nuScenes dataset, it integrates natural language with voxel-level occupancy annotations, offering more precise object perception compared to the traditional grounding task. Moreover, we propose GroundingOcc, an end-to-end model designed for 3D occupancy grounding through multi-modal learning. It combines visual, textual, and point cloud features to predict object location and occupancy information from coarse to fine. Specifically, GroundingOcc comprises a multimodal encoder for feature extraction, an occupancy head for voxel-wise predictions, and a grounding head to refine localization. Additionally, a 2D grounding module and a depth estimation module enhance geometric understanding, thereby boosting model performance. Extensive experiments on the benchmark demonstrate that our method outperforms existing baselines on 3D occupancy grounding. The dataset is available at https://github.com/RONINGOD/GroundingOcc.