Edição de Cena Orientada por Erros para Grounding 3D em Modelos de Linguagem de Grande Escala
Error-Driven Scene Editing for 3D Grounding in Large Language Models
November 18, 2025
Autores: Yue Zhang, Zun Wang, Han Lin, Jialu Li, Jianing Yang, Yonatan Bitton, Idan Szpektor, Mohit Bansal
cs.AI
Resumo
Apesar dos recentes avanços nos modelos de linguagem de grande porte para 3D (3D-LLMs), estes permanecem limitados na ancoragem precisa da linguagem a elementos visuais e espaciais em ambientes 3D. Esta limitação decorre em parte de dados de treinamento que se concentram no raciocínio linguístico em vez da compreensão espacial, devido à escassez de recursos 3D, deixando vieses inerentes de ancoragem não resolvidos. Para resolver isso, propomos a edição de cenas 3D como um mecanismo fundamental para gerar contrafactuais visuais precisos que mitiguem esses vieses por meio de manipulação espacial de granularidade fina, sem exigir a reconstrução onerosa de cenas ou a coleta de dados 3D em larga escala. Adicionalmente, para que essas edições sejam direcionadas e abordem diretamente as fraquezas específicas do modelo, introduzimos o DEER-3D, uma estrutura orientada a erros que segue um fluxo estruturado "Decompor, Avaliação Diagnóstica, Editar e Retreinar", em vez de aumentar os dados de forma ampla ou aleatória, como nas abordagens convencionais. Especificamente, ao identificar uma falha de ancoragem do 3D-LLM, nossa estrutura primeiro diagnostica o erro exato a nível de predicado (por exemplo, atributo ou relação espacial). Em seguida, executa edições mínimas na cena 3D, alinhadas ao predicado, como alteração de cor ou reposicionamento, para produzir uma supervisão contrafactual direcionada para o ajuste fino iterativo do modelo, melhorando significativamente a precisão da ancoragem. Avaliamos nosso pipeline de edição em múltiplos benchmarks para tarefas de ancoragem 3D e compreensão de cenas, demonstrando consistentemente melhorias em todos os conjuntos de dados avaliados por meio de refinamento iterativo. O DEER-3D ressalta a eficácia da edição de cenas direcionada e orientada a erros para unir as capacidades de raciocínio linguístico com a ancoragem espacial em LLMs 3D.
English
Despite recent progress in 3D-LLMs, they remain limited in accurately grounding language to visual and spatial elements in 3D environments. This limitation stems in part from training data that focuses on language reasoning rather than spatial understanding due to scarce 3D resources, leaving inherent grounding biases unresolved. To address this, we propose 3D scene editing as a key mechanism to generate precise visual counterfactuals that mitigate these biases through fine-grained spatial manipulation, without requiring costly scene reconstruction or large-scale 3D data collection. Furthermore, to make these edits targeted and directly address the specific weaknesses of the model, we introduce DEER-3D, an error-driven framework following a structured "Decompose, Diagnostic Evaluation, Edit, and Re-train" workflow, rather than broadly or randomly augmenting data as in conventional approaches. Specifically, upon identifying a grounding failure of the 3D-LLM, our framework first diagnoses the exact predicate-level error (e.g., attribute or spatial relation). It then executes minimal, predicate-aligned 3D scene edits, such as recoloring or repositioning, to produce targeted counterfactual supervision for iterative model fine-tuning, significantly enhancing grounding accuracy. We evaluate our editing pipeline across multiple benchmarks for 3D grounding and scene understanding tasks, consistently demonstrating improvements across all evaluated datasets through iterative refinement. DEER-3D underscores the effectiveness of targeted, error-driven scene editing in bridging linguistic reasoning capabilities with spatial grounding in 3D LLMs.