3D-VCD: Mitigazione delle Allucinazioni negli Agenti Embodied 3D-LLM tramite Decodifica Contrastiva Visiva

3D-VCD: Hallucination Mitigation in 3D-LLM Embodied Agents through Visual Contrastive Decoding

April 9, 2026

Autori: Makanjuola Ogunleye, Eman Abdelrahman, Ismini Lourentzou

cs.AI

Abstract

I modelli multimodali di grandi dimensioni sono sempre più utilizzati come nucleo di ragionamento per agenti embodied che operano in ambienti 3D, ma rimangono soggetti a allucinazioni che possono produrre decisioni non sicure e non fondate. I metodi esistenti di mitigazione delle allucinazioni al momento dell'inferenza si concentrano prevalentemente su contesti visivo-linguistici 2D e non si trasferiscono al ragionamento embodied in 3D, dove gli errori derivano dalla presenza di oggetti, dal layout spaziale e dal grounding geometrico piuttosto che da incoerenze a livello di pixel. Introduciamo 3D-VCD, il primo framework di decoding contrastivo visivo al momento dell'inferenza per la mitigazione delle allucinazioni negli agenti embodied 3D. 3D-VCD costruisce un grafo di scena 3D distorto applicando perturbazioni semantiche e geometriche a rappresentazioni incentrate sugli oggetti, come sostituzioni di categorie e corruzioni di coordinate o estensioni. Contrastando le previsioni sotto i contesti 3D originali e distorti, il nostro metodo sopprime i token che sono insensibili all'evidenza fondata della scena e che sono quindi probabilmente guidati da prior linguistiche. Valutiamo 3D-VCD sui benchmark 3D-POPE e HEAL e dimostriamo che migliora costantemente il ragionamento fondato senza alcuna riaddestramento, stabilendo il decoding contrastivo al momento dell'inferenza su rappresentazioni 3D strutturate come una via efficace e pratica verso un'intelligenza embodied più affidabile.

English

Large multimodal models are increasingly used as the reasoning core of embodied agents operating in 3D environments, yet they remain prone to hallucinations that can produce unsafe and ungrounded decisions. Existing inference-time hallucination mitigation methods largely target 2D vision-language settings and do not transfer to embodied 3D reasoning, where failures arise from object presence, spatial layout, and geometric grounding rather than pixel-level inconsistencies. We introduce 3D-VCD, the first inference-time visual contrastive decoding framework for hallucination mitigation in 3D embodied agents. 3D-VCD constructs a distorted 3D scene graph by applying semantic and geometric perturbations to object-centric representations, such as category substitutions and coordinate or extent corruption. By contrasting predictions under the original and distorted 3D contexts, our method suppresses tokens that are insensitive to grounded scene evidence and are therefore likely driven by language priors. We evaluate 3D-VCD on the 3D-POPE and HEAL benchmarks and show that it consistently improves grounded reasoning without any retraining, establishing inference-time contrastive decoding over structured 3D representations as an effective and practical route to more reliable embodied intelligence.