Foutgestuurd Scènebewerken voor 3D-Positiebepaling in Grote Taalmodellen
Error-Driven Scene Editing for 3D Grounding in Large Language Models
November 18, 2025
Auteurs: Yue Zhang, Zun Wang, Han Lin, Jialu Li, Jianing Yang, Yonatan Bitton, Idan Szpektor, Mohit Bansal
cs.AI
Samenvatting
Ondanks recente vooruitgang in 3D-LLM's blijven ze beperkt in het nauwkeurig verankeren van taal aan visuele en ruimtelijke elementen in 3D-omgevingen. Deze beperking komt deels voort uit trainingsdata die zich richt op taalredenering in plaats van ruimtelijk begrip, vanwege schaarse 3D-bronnen, waardoor inherente verankeringsvooroordelen onopgelost blijven. Om dit aan te pakken, stellen we 3D-scènebewerking voor als een sleutelmechanisme om precieze visuele tegenfactoren te genereren die deze vooroordelen mitigeren door middel van fijnmazige ruimtelijke manipulatie, zonder dure scèhereconstructie of grootschalige 3D-datacollectie. Verder introduceren we, om deze bewerkingen gericht te maken en de specifieke zwaktes van het model direct aan te pakken, DEER-3D: een foutgedreven raamwerk dat een gestructureerde "Decomponeren, Diagnostische Evaluatie, Bewerken en Opnieuw Trainen"-werkstroom volgt, in plaats van data breed of willekeurig aan te vullen zoals bij conventionele aanpakken. Specifiek, na het identificeren van een verankeringsfout van de 3D-LLM, diagnosticeert ons raamwerk eerst de exacte fout op predikaatniveau (bijvoorbeeld een attribuut- of ruimtelijke relatie). Vervolgens voert het minimale, op het predikaat afgestemde 3D-scènebewerkingen uit, zoals herkleuren of herpositioneren, om gerichte tegenfactuele supervisie te produceren voor iteratieve modelverfijning, wat de verankeringsnauwkeurigheid aanzienlijk verbetert. We evalueren onze bewerkingspijplijn op meerdere benchmarks voor 3D-verankering en scènebegriptaken, waarbij we consistent verbeteringen aantonen across alle geëvalueerde datasets door iteratieve verfijning. DEER-3D benadrukt de effectiviteit van gerichte, foutgedreven scènebewerking bij het overbruggen van linguïstische redeneervaardigheden met ruimtelijke verankering in 3D-LLM's.
English
Despite recent progress in 3D-LLMs, they remain limited in accurately grounding language to visual and spatial elements in 3D environments. This limitation stems in part from training data that focuses on language reasoning rather than spatial understanding due to scarce 3D resources, leaving inherent grounding biases unresolved. To address this, we propose 3D scene editing as a key mechanism to generate precise visual counterfactuals that mitigate these biases through fine-grained spatial manipulation, without requiring costly scene reconstruction or large-scale 3D data collection. Furthermore, to make these edits targeted and directly address the specific weaknesses of the model, we introduce DEER-3D, an error-driven framework following a structured "Decompose, Diagnostic Evaluation, Edit, and Re-train" workflow, rather than broadly or randomly augmenting data as in conventional approaches. Specifically, upon identifying a grounding failure of the 3D-LLM, our framework first diagnoses the exact predicate-level error (e.g., attribute or spatial relation). It then executes minimal, predicate-aligned 3D scene edits, such as recoloring or repositioning, to produce targeted counterfactual supervision for iterative model fine-tuning, significantly enhancing grounding accuracy. We evaluate our editing pipeline across multiple benchmarks for 3D grounding and scene understanding tasks, consistently demonstrating improvements across all evaluated datasets through iterative refinement. DEER-3D underscores the effectiveness of targeted, error-driven scene editing in bridging linguistic reasoning capabilities with spatial grounding in 3D LLMs.