Ein Grob-zu-Fein-Ansatz zur Multi-Modalitäts-3D-Okkupationsverankerung

A Coarse-to-Fine Approach to Multi-Modality 3D Occupancy Grounding

August 2, 2025

papers.authors: Zhan Shi, Song Wang, Junbo Chen, Jianke Zhu

cs.AI

papers.abstract

Visuelle Verankerung zielt darauf ab, Objekte oder Regionen in einer Szene basierend auf natürlichen Sprachbeschreibungen zu identifizieren, was für eine räumlich bewusste Wahrnehmung im autonomen Fahren entscheidend ist. Bisherige Aufgaben zur visuellen Verankerung basieren jedoch typischerweise auf Begrenzungsrahmen, die oft feinere Details nicht erfassen können. Nicht alle Voxel innerhalb eines Begrenzungsrahmens sind belegt, was zu ungenauen Objektdarstellungen führt. Um dies zu beheben, führen wir einen Benchmark für die 3D-Belegungsverankerung in anspruchsvollen Außenszenen ein. Basierend auf dem nuScenes-Datensatz integriert er natürliche Sprache mit Voxel-genauen Belegungsannotationen und bietet im Vergleich zur traditionellen Verankerungsaufgabe eine präzisere Objektwahrnehmung. Darüber hinaus schlagen wir GroundingOcc vor, ein End-to-End-Modell, das für die 3D-Belegungsverankerung durch multimodales Lernen entwickelt wurde. Es kombiniert visuelle, textuelle und Punktwolkenmerkmale, um die Objektposition und Belegungsinformationen von grob bis fein vorherzusagen. Insbesondere besteht GroundingOcc aus einem multimodalen Encoder zur Merkmalsextraktion, einem Belegungskopf für Voxel-genaue Vorhersagen und einem Verankerungskopf zur Verfeinerung der Lokalisierung. Zusätzlich verbessern ein 2D-Verankerungsmodul und ein Tiefenschätzungsmodul das geometrische Verständnis und steigern so die Modellleistung. Umfangreiche Experimente auf dem Benchmark zeigen, dass unsere Methode bestehende Baselines bei der 3D-Belegungsverankerung übertrifft. Der Datensatz ist unter https://github.com/RONINGOD/GroundingOcc verfügbar.

English

Visual grounding aims to identify objects or regions in a scene based on natural language descriptions, essential for spatially aware perception in autonomous driving. However, existing visual grounding tasks typically depend on bounding boxes that often fail to capture fine-grained details. Not all voxels within a bounding box are occupied, resulting in inaccurate object representations. To address this, we introduce a benchmark for 3D occupancy grounding in challenging outdoor scenes. Built on the nuScenes dataset, it integrates natural language with voxel-level occupancy annotations, offering more precise object perception compared to the traditional grounding task. Moreover, we propose GroundingOcc, an end-to-end model designed for 3D occupancy grounding through multi-modal learning. It combines visual, textual, and point cloud features to predict object location and occupancy information from coarse to fine. Specifically, GroundingOcc comprises a multimodal encoder for feature extraction, an occupancy head for voxel-wise predictions, and a grounding head to refine localization. Additionally, a 2D grounding module and a depth estimation module enhance geometric understanding, thereby boosting model performance. Extensive experiments on the benchmark demonstrate that our method outperforms existing baselines on 3D occupancy grounding. The dataset is available at https://github.com/RONINGOD/GroundingOcc.