3D-VCD: Mitigación de Alucinaciones en Agentes Corporizados 3D-LLM mediante Decodificación Visual por Contraste
3D-VCD: Hallucination Mitigation in 3D-LLM Embodied Agents through Visual Contrastive Decoding
April 9, 2026
Autores: Makanjuola Ogunleye, Eman Abdelrahman, Ismini Lourentzou
cs.AI
Resumen
Los modelos multimodales grandes se utilizan cada vez más como núcleo de razonamiento de agentes corporizados que operan en entornos 3D, pero siguen siendo propensos a alucinaciones que pueden producir decisiones inseguras y sin fundamento. Los métodos existentes de mitigación de alucinaciones en tiempo de inferencia se dirigen principalmente a entornos de lenguaje visual 2D y no se transfieren al razonamiento corporizado en 3D, donde los fallos surgen de la presencia de objetos, la disposición espacial y la fundamentación geométrica en lugar de inconsistencias a nivel de píxel. Presentamos 3D-VCD, el primer marco de decodificación contrastiva visual en tiempo de inferencia para la mitigación de alucinaciones en agentes corporizados 3D. 3D-VCD construye un grafo de escena 3D distorsionado aplicando perturbaciones semánticas y geométricas a representaciones centradas en objetos, como sustituciones de categorías y corrupción de coordenadas o dimensiones. Al contrastar las predicciones bajo los contextos 3D originales y distorsionados, nuestro método suprime los tokens que son insensibles a la evidencia fundamentada de la escena y que, por lo tanto, probablemente están impulsados por prejuicios lingüísticos. Evaluamos 3D-VCD en los benchmarks 3D-POPE y HEAL y demostramos que mejora consistentemente el razonamiento fundamentado sin necesidad de reentrenamiento, estableciendo la decodificación contrastiva en tiempo de inferencia sobre representaciones 3D estructuradas como una ruta efectiva y práctica hacia una inteligencia corporizada más confiable.
English
Large multimodal models are increasingly used as the reasoning core of embodied agents operating in 3D environments, yet they remain prone to hallucinations that can produce unsafe and ungrounded decisions. Existing inference-time hallucination mitigation methods largely target 2D vision-language settings and do not transfer to embodied 3D reasoning, where failures arise from object presence, spatial layout, and geometric grounding rather than pixel-level inconsistencies. We introduce 3D-VCD, the first inference-time visual contrastive decoding framework for hallucination mitigation in 3D embodied agents. 3D-VCD constructs a distorted 3D scene graph by applying semantic and geometric perturbations to object-centric representations, such as category substitutions and coordinate or extent corruption. By contrasting predictions under the original and distorted 3D contexts, our method suppresses tokens that are insensitive to grounded scene evidence and are therefore likely driven by language priors. We evaluate 3D-VCD on the 3D-POPE and HEAL benchmarks and show that it consistently improves grounded reasoning without any retraining, establishing inference-time contrastive decoding over structured 3D representations as an effective and practical route to more reliable embodied intelligence.