3D-VCD: Снижение галлюцинаций у воплощенных агентов на основе 3D-LLM с помощью визуального контрастного декодирования

3D-VCD: Hallucination Mitigation in 3D-LLM Embodied Agents through Visual Contrastive Decoding

April 9, 2026

Авторы: Makanjuola Ogunleye, Eman Abdelrahman, Ismini Lourentzou

cs.AI

Аннотация

Крупные мультимодальные модели все чаще используются в качестве рассуждающего ядра воплощенных агентов, функционирующих в 3D-средах, однако они по-прежнему склонны к галлюцинациям, которые могут приводить к небезопасным и необоснованным решениям. Существующие методы подавления галлюцинаций на этапе вывода в основном ориентированы на 2D-сценарии "визуальный язык-текст" и не переносятся на воплощенное 3D-рассуждение, где ошибки возникают из-за наличия объектов, пространственного расположения и геометрической привязки, а не из-за пиксельных несоответствий. Мы представляем 3D-VCD — первую систему визуального контрастного декодирования на этапе вывода для подавления галлюцинаций у воплощенных 3D-агентов. 3D-VCD строит искаженный 3D-сценограф путем применения семантических и геометрических возмущений к объектно-ориентированным представлениям, таким как подстановка категорий и искажение координат или размеров. Сравнивая предсказания в исходном и искаженном 3D-контекстах, наш метод подавляет токены, нечувствительные к обоснованным свидетельствам сцены и, следовательно, вероятно, управляемые языковыми априорными предположениями. Мы оцениваем 3D-VCD на бенчмарках 3D-POPE и HEAL и показываем, что метод последовательно улучшает обоснованное рассуждение без какого-либо переобучения, утверждая контрастное декодирование на этапе вывода над структурированными 3D-представлениями как эффективный и практичный путь к более надежному воплощенному интеллекту.

English

Large multimodal models are increasingly used as the reasoning core of embodied agents operating in 3D environments, yet they remain prone to hallucinations that can produce unsafe and ungrounded decisions. Existing inference-time hallucination mitigation methods largely target 2D vision-language settings and do not transfer to embodied 3D reasoning, where failures arise from object presence, spatial layout, and geometric grounding rather than pixel-level inconsistencies. We introduce 3D-VCD, the first inference-time visual contrastive decoding framework for hallucination mitigation in 3D embodied agents. 3D-VCD constructs a distorted 3D scene graph by applying semantic and geometric perturbations to object-centric representations, such as category substitutions and coordinate or extent corruption. By contrasting predictions under the original and distorted 3D contexts, our method suppresses tokens that are insensitive to grounded scene evidence and are therefore likely driven by language priors. We evaluate 3D-VCD on the 3D-POPE and HEAL benchmarks and show that it consistently improves grounded reasoning without any retraining, establishing inference-time contrastive decoding over structured 3D representations as an effective and practical route to more reliable embodied intelligence.