Édition de scène guidée par l'erreur pour l'ancrage 3D dans les grands modèles de langage

Error-Driven Scene Editing for 3D Grounding in Large Language Models

November 18, 2025

papers.authors: Yue Zhang, Zun Wang, Han Lin, Jialu Li, Jianing Yang, Yonatan Bitton, Idan Szpektor, Mohit Bansal

cs.AI

papers.abstract

Malgré les progrès récents des modèles de langage 3D (3D-LLMs), leur capacité à ancrer précisément le langage dans les éléments visuels et spatiaux des environnements 3D reste limitée. Cette limitation découle en partie de données d'entraînement qui privilégient le raisonnement linguistique au détriment de la compréhension spatiale, en raison de la rareté des ressources 3D, laissant ainsi des biais d'ancrage inhérents non résolus. Pour y remédier, nous proposons l'édition de scènes 3D comme mécanisme clé pour générer des contrefactuels visuels précis qui atténuent ces biais via une manipulation spatiale fine, sans nécessiter de reconstruction coûteuse de scènes ou de collecte à grande échelle de données 3D. De plus, pour que ces modifications soient ciblées et corrigent directement les faiblesses spécifiques du modèle, nous présentons DEER-3D, un cadre piloté par l'erreur suivant un processus structuré « Décomposer, Évaluer le diagnostic, Modifier, Ré-entraîner », plutôt que d'augmenter les données de manière large ou aléatoire comme dans les approches conventionnelles. Concrètement, après avoir identifié un échec d'ancrage du 3D-LLM, notre cadre diagnostique d'abord l'erreur exacte au niveau du prédicat (par exemple, un attribut ou une relation spatiale). Il exécute ensuite des modifications minimales de la scène 3D, alignées sur le prédicat, comme un changement de couleur ou un repositionnement, pour produire une supervision contrefactuelle ciblée destinée à l'affinage itératif du modèle, améliorant ainsi significativement la précision de l'ancrage. Nous évaluons notre pipeline d'édition sur plusieurs benchmarks pour les tâches d'ancrage 3D et de compréhension de scènes, démontrant systématiquement des améliorations sur tous les jeux de données évalués grâce à un raffinement itératif. DEER-3D souligne l'efficacité de l'édition de scènes ciblée et pilotée par l'erreur pour combler l'écart entre les capacités de raisonnement linguistique et l'ancrage spatial dans les modèles de langage 3D.

English

Despite recent progress in 3D-LLMs, they remain limited in accurately grounding language to visual and spatial elements in 3D environments. This limitation stems in part from training data that focuses on language reasoning rather than spatial understanding due to scarce 3D resources, leaving inherent grounding biases unresolved. To address this, we propose 3D scene editing as a key mechanism to generate precise visual counterfactuals that mitigate these biases through fine-grained spatial manipulation, without requiring costly scene reconstruction or large-scale 3D data collection. Furthermore, to make these edits targeted and directly address the specific weaknesses of the model, we introduce DEER-3D, an error-driven framework following a structured "Decompose, Diagnostic Evaluation, Edit, and Re-train" workflow, rather than broadly or randomly augmenting data as in conventional approaches. Specifically, upon identifying a grounding failure of the 3D-LLM, our framework first diagnoses the exact predicate-level error (e.g., attribute or spatial relation). It then executes minimal, predicate-aligned 3D scene edits, such as recoloring or repositioning, to produce targeted counterfactual supervision for iterative model fine-tuning, significantly enhancing grounding accuracy. We evaluate our editing pipeline across multiple benchmarks for 3D grounding and scene understanding tasks, consistently demonstrating improvements across all evaluated datasets through iterative refinement. DEER-3D underscores the effectiveness of targeted, error-driven scene editing in bridging linguistic reasoning capabilities with spatial grounding in 3D LLMs.