Rastrear, Pintar, Ressemear: Geração 3D e 4D Orientada a Objetos com Preenchimento Progressivo de Textura

Track, Inpaint, Resplat: Subject-driven 3D and 4D Generation with Progressive Texture Infilling

October 27, 2025

Autores: Shuhong Zheng, Ashkan Mirzaei, Igor Gilitschenski

cs.AI

Resumo

Os métodos atuais de geração 3D/4D são geralmente otimizados para fotorrealismo, eficiência e estética. No entanto, eles frequentemente falham em preservar a identidade semântica do sujeito em diferentes pontos de vista. A adaptação de métodos de geração com uma ou poucas imagens de um sujeito específico (conhecida como Personalização ou Geração Orientada por Sujeito) permite criar conteúdo visual alinhado com a identidade do sujeito. Contudo, a geração 3D/4D personalizada ainda permanece amplamente inexplorada. Neste trabalho, introduzimos o TIRE (Track, Inpaint, REsplat), um método inovador para geração 3D/4D orientada por sujeito. Ele utiliza um recurso 3D inicial produzido por um modelo generativo 3D existente como entrada e emprega rastreamento de vídeo para identificar as regiões que necessitam de modificação. Em seguida, adotamos um modelo de inpaint 2D orientado por sujeito para preencher progressivamente as regiões identificadas. Finalmente, realizamos o resplat das observções 2D multi-view modificadas de volta para 3D, mantendo a consistência. Experimentos extensivos demonstram que nossa abordagem melhora significativamente a preservação de identidade na geração 3D/4D em comparação com métodos state-of-the-art. Nosso site do projeto está disponível em https://zsh2000.github.io/track-inpaint-resplat.github.io/.

English

Current 3D/4D generation methods are usually optimized for photorealism, efficiency, and aesthetics. However, they often fail to preserve the semantic identity of the subject across different viewpoints. Adapting generation methods with one or few images of a specific subject (also known as Personalization or Subject-driven generation) allows generating visual content that align with the identity of the subject. However, personalized 3D/4D generation is still largely underexplored. In this work, we introduce TIRE (Track, Inpaint, REsplat), a novel method for subject-driven 3D/4D generation. It takes an initial 3D asset produced by an existing 3D generative model as input and uses video tracking to identify the regions that need to be modified. Then, we adopt a subject-driven 2D inpainting model for progressively infilling the identified regions. Finally, we resplat the modified 2D multi-view observations back to 3D while still maintaining consistency. Extensive experiments demonstrate that our approach significantly improves identity preservation in 3D/4D generation compared to state-of-the-art methods. Our project website is available at https://zsh2000.github.io/track-inpaint-resplat.github.io/.