Fehlergesteuerte Szenenbearbeitung für 3D-Verankerung in großen Sprachmodellen
Error-Driven Scene Editing for 3D Grounding in Large Language Models
November 18, 2025
papers.authors: Yue Zhang, Zun Wang, Han Lin, Jialu Li, Jianing Yang, Yonatan Bitton, Idan Szpektor, Mohit Bansal
cs.AI
papers.abstract
Trotz jüngster Fortschritte bei 3D-LLMs bleiben diese in ihrer Fähigkeit eingeschränkt, Sprache präzise mit visuellen und räumlichen Elementen in 3D-Umgebungen zu verankern. Diese Einschränkung resultiert teilweise aus Trainingsdaten, die aufgrund knapper 3D-Ressourcen eher auf Sprachverständnis als auf räumliches Verständnis abzielen, wodurch inhärente Verankerungsverzerrungen ungelöst bleiben. Um dies zu adressieren, schlagen wir 3D-Szenenbearbeitung als einen Schlüsselmechanismus vor, um präzise visuelle Gegenfakten zu erzeugen, die diese Verzerrungen durch feingranulare räumliche Manipulation mildern, ohne kostspielige Szenenrekonstruktion oder großangelegte 3D-Datenerfassung zu erfordern. Des Weiteren führen wir DEER-3D ein, einen fehlergetriebenen Rahmen, der einem strukturierten "Zerlegen, Diagnostische Bewertung, Bearbeiten und Neu-Trainieren"-Workflow folgt, um diese Bearbeitungen zielgerichtet zu gestalten und spezifische Schwächen des Modells direkt anzugehen, anstatt Daten breit oder zufällig zu erweitern wie bei konventionellen Ansätzen. Konkret diagnostiziert unser Framework bei Erkennung eines Verankerungsfehlers des 3D-LLMs zunächst den exakten Prädikats-fehler (z.B. Attribut oder räumliche Relation). Anschließend führt es minimale, prädikat-spezifische 3D-Szenenänderungen wie Neufärbung oder Umpositionierung durch, um gezielte gegenfaktuelle Supervision für iteratives Modell-Feintuning zu erzeugen, was die Verankerungsgenauigkeit erheblich steigert. Wir evaluieren unsere Bearbeitungspipeline anhand mehrerer Benchmarks für 3D-Verankerung und Szenenverständnisaufgaben und zeigen durch iterative Verfeinerung konsistente Verbesserungen über alle evaluierten Datensätze hinweg. DEER-3D unterstreicht die Wirksamkeit zielgerichteter, fehlergetriebener Szenenbearbeitung zur Überbrückung von linguistischen Reasoning-Fähigkeiten und räumlicher Verankerung in 3D-LLMs.
English
Despite recent progress in 3D-LLMs, they remain limited in accurately grounding language to visual and spatial elements in 3D environments. This limitation stems in part from training data that focuses on language reasoning rather than spatial understanding due to scarce 3D resources, leaving inherent grounding biases unresolved. To address this, we propose 3D scene editing as a key mechanism to generate precise visual counterfactuals that mitigate these biases through fine-grained spatial manipulation, without requiring costly scene reconstruction or large-scale 3D data collection. Furthermore, to make these edits targeted and directly address the specific weaknesses of the model, we introduce DEER-3D, an error-driven framework following a structured "Decompose, Diagnostic Evaluation, Edit, and Re-train" workflow, rather than broadly or randomly augmenting data as in conventional approaches. Specifically, upon identifying a grounding failure of the 3D-LLM, our framework first diagnoses the exact predicate-level error (e.g., attribute or spatial relation). It then executes minimal, predicate-aligned 3D scene edits, such as recoloring or repositioning, to produce targeted counterfactual supervision for iterative model fine-tuning, significantly enhancing grounding accuracy. We evaluate our editing pipeline across multiple benchmarks for 3D grounding and scene understanding tasks, consistently demonstrating improvements across all evaluated datasets through iterative refinement. DEER-3D underscores the effectiveness of targeted, error-driven scene editing in bridging linguistic reasoning capabilities with spatial grounding in 3D LLMs.