Ошибко-ориентированное редактирование сцены для пространственного позиционирования в больших языковых моделях

Error-Driven Scene Editing for 3D Grounding in Large Language Models

November 18, 2025

Авторы: Yue Zhang, Zun Wang, Han Lin, Jialu Li, Jianing Yang, Yonatan Bitton, Idan Szpektor, Mohit Bansal

cs.AI

Аннотация

Несмотря на недавний прогресс в области 3D-LLM, они по-прежнему ограничены в точном привязывании языка к визуальным и пространственным элементам в 3D-средах. Это ограничение частично проистекает из обучающих данных, которые фокусируются на языковых рассуждениях, а не на пространственном понимании, из-за скудности 3D-ресурсов, что оставляет нерешенными присущие смещения в привязке. Чтобы решить эту проблему, мы предлагаем использовать редактирование 3D-сцен в качестве ключевого механизма для генерации точных визуальных контрафактов, которые устраняют эти смещения посредством детализированного пространственного манипулирования, не требуя дорогостоящего перестроения сцен или масштабного сбора 3D-данных. Более того, чтобы сделать эти правки целенаправленными и напрямую устранять конкретные слабости модели, мы представляем DEER-3D — ошибко-ориентированную структуру, следующую структурированному рабочему процессу «Декомпозиция, Диагностическая оценка, Редактирование и Переобучение», в отличие от широкого или случайного аугментирования данных, как в традиционных подходах. Конкретно, при выявлении ошибки привязки 3D-LLM наша структура сначала диагностирует точную ошибку на уровне предиката (например, атрибута или пространственного отношения). Затем она выполняет минимальные, согласованные с предикатом правки 3D-сцены, такие как перекрашивание или изменение положения, чтобы создать целенаправленное контрафактное обучение для итеративной тонкой настройки модели, значительно повышая точность привязки. Мы оцениваем наш конвейер редактирования на нескольких бенчмарках для задач 3D-привязки и понимания сцен, последовательно демонстрируя улучшения на всех оцениваемых наборах данных благодаря итеративному уточнению. DEER-3D подчеркивает эффективность целенаправленного, ошибко-ориентированного редактирования сцен для объединения лингвистических способностей к рассуждению с пространственной привязкой в 3D-LLM.

English

Despite recent progress in 3D-LLMs, they remain limited in accurately grounding language to visual and spatial elements in 3D environments. This limitation stems in part from training data that focuses on language reasoning rather than spatial understanding due to scarce 3D resources, leaving inherent grounding biases unresolved. To address this, we propose 3D scene editing as a key mechanism to generate precise visual counterfactuals that mitigate these biases through fine-grained spatial manipulation, without requiring costly scene reconstruction or large-scale 3D data collection. Furthermore, to make these edits targeted and directly address the specific weaknesses of the model, we introduce DEER-3D, an error-driven framework following a structured "Decompose, Diagnostic Evaluation, Edit, and Re-train" workflow, rather than broadly or randomly augmenting data as in conventional approaches. Specifically, upon identifying a grounding failure of the 3D-LLM, our framework first diagnoses the exact predicate-level error (e.g., attribute or spatial relation). It then executes minimal, predicate-aligned 3D scene edits, such as recoloring or repositioning, to produce targeted counterfactual supervision for iterative model fine-tuning, significantly enhancing grounding accuracy. We evaluate our editing pipeline across multiple benchmarks for 3D grounding and scene understanding tasks, consistently demonstrating improvements across all evaluated datasets through iterative refinement. DEER-3D underscores the effectiveness of targeted, error-driven scene editing in bridging linguistic reasoning capabilities with spatial grounding in 3D LLMs.