3D-VCD: Reduzierung von Halluzinationen in verkörperten 3D-LLM-Agenten durch visuelles kontrastives Decodieren
3D-VCD: Hallucination Mitigation in 3D-LLM Embodied Agents through Visual Contrastive Decoding
April 9, 2026
Autoren: Makanjuola Ogunleye, Eman Abdelrahman, Ismini Lourentzou
cs.AI
Zusammenfassung
Große multimodale Modelle werden zunehmend als Kernkomponente für das Reasoning von verkörperten Agenten in 3D-Umgebungen eingesetzt, bleiben jedoch anfällig für Halluzinationen, die zu unsicheren und unbegründeten Entscheidungen führen können. Bisherige Methoden zur Reduzierung von Halluzinationen zur Inferenzzeit zielen weitgehend auf 2D-Vision-Sprache-Szenarien ab und lassen sich nicht auf verkörpertes 3D-Reasoning übertragen, bei dem Fehler auf Objektpräsenz, räumliche Anordnung und geometrische Verankerung zurückgehen und nicht auf Pixel-Inkonsistenzen. Wir stellen 3D-VCD vor, den ersten Inferenzzeit-Framework mit visuellem kontrastivem Decoding zur Minderung von Halluzinationen in 3D-verkörperten Agenten. 3D-VCD konstruiert einen verzerrten 3D-Szenengraphen durch Anwendung semantischer und geometrischer Störungen auf objektzentrierte Repräsentationen, wie Kategorieersetzungen sowie Koordinaten- oder Ausdehnungskorruption. Durch den Abgleich von Vorhersagen unter originalen und verzerrten 3D-Kontexten unterdrückt unsere Methode Tokens, die unempfindlich gegenüber fundierten Szenenbeweisen sind und daher wahrscheinlich durch Sprach-Priors getrieben werden. Wir evaluieren 3D-VCD anhand der Benchmarks 3D-POPE und HEAL und zeigen, dass es durchgängig das fundierte Reasoning verbessert – ohne jegliches Umtraining. Dies etabliert kontrastives Decoding zur Inferenzzeit über strukturierten 3D-Repräsentationen als einen effektiven und praktischen Weg zu zuverlässigerer verkörperter Intelligenz.
English
Large multimodal models are increasingly used as the reasoning core of embodied agents operating in 3D environments, yet they remain prone to hallucinations that can produce unsafe and ungrounded decisions. Existing inference-time hallucination mitigation methods largely target 2D vision-language settings and do not transfer to embodied 3D reasoning, where failures arise from object presence, spatial layout, and geometric grounding rather than pixel-level inconsistencies. We introduce 3D-VCD, the first inference-time visual contrastive decoding framework for hallucination mitigation in 3D embodied agents. 3D-VCD constructs a distorted 3D scene graph by applying semantic and geometric perturbations to object-centric representations, such as category substitutions and coordinate or extent corruption. By contrasting predictions under the original and distorted 3D contexts, our method suppresses tokens that are insensitive to grounded scene evidence and are therefore likely driven by language priors. We evaluate 3D-VCD on the 3D-POPE and HEAL benchmarks and show that it consistently improves grounded reasoning without any retraining, establishing inference-time contrastive decoding over structured 3D representations as an effective and practical route to more reliable embodied intelligence.