3D-VCD : Atténuation des hallucinations chez les agents incarnés 3D-LLM par décodage contrastif visuel
3D-VCD: Hallucination Mitigation in 3D-LLM Embodied Agents through Visual Contrastive Decoding
April 9, 2026
Auteurs: Makanjuola Ogunleye, Eman Abdelrahman, Ismini Lourentzou
cs.AI
Résumé
Les grands modèles multimodaux sont de plus en plus utilisés comme cœur de raisonnement pour les agents incarnés évoluant dans des environnements 3D, mais ils restent sujets à des hallucinations pouvant entraîner des décisions non sécurisées et non fondées. Les méthodes existantes d'atténuation des hallucinations à l'inférence ciblent largement les configurations vision-langage en 2D et ne se transfèrent pas au raisonnement incarné en 3D, où les échecs proviennent de la présence d'objets, de l'agencement spatial et de l'ancrage géométrique plutôt que d'incohérences au niveau pixel. Nous présentons 3D-VCD, le premier cadre de décodage contrastif visuel à l'inférence pour atténuer les hallucinations chez les agents incarnés en 3D. 3D-VCD construit un graphe de scène 3D déformé en appliquant des perturbations sémantiques et géométriques à des représentations centrées sur les objets, telles que des substitutions de catégories et des corruptions de coordonnées ou d'étendue. En contrastant les prédictions sous les contextes 3D originaux et déformés, notre méthode supprime les tokens insensibles aux preuves ancrées de la scène et donc probablement pilotés par des prérequis linguistiques. Nous évaluons 3D-VCD sur les benchmarks 3D-POPE et HEAL et montrons qu'il améliore constamment le raisonnement ancré sans aucun réentraînement, établissant le décodage contrastif à l'inférence sur des représentations 3D structurées comme une voie efficace et pratique vers une intelligence incarnée plus fiable.
English
Large multimodal models are increasingly used as the reasoning core of embodied agents operating in 3D environments, yet they remain prone to hallucinations that can produce unsafe and ungrounded decisions. Existing inference-time hallucination mitigation methods largely target 2D vision-language settings and do not transfer to embodied 3D reasoning, where failures arise from object presence, spatial layout, and geometric grounding rather than pixel-level inconsistencies. We introduce 3D-VCD, the first inference-time visual contrastive decoding framework for hallucination mitigation in 3D embodied agents. 3D-VCD constructs a distorted 3D scene graph by applying semantic and geometric perturbations to object-centric representations, such as category substitutions and coordinate or extent corruption. By contrasting predictions under the original and distorted 3D contexts, our method suppresses tokens that are insensitive to grounded scene evidence and are therefore likely driven by language priors. We evaluate 3D-VCD on the 3D-POPE and HEAL benchmarks and show that it consistently improves grounded reasoning without any retraining, establishing inference-time contrastive decoding over structured 3D representations as an effective and practical route to more reliable embodied intelligence.