Rastrear, Inpainting, Resplat: Generación 3D y 4D Guiada por el Sujeto con Relleno Progresivo de Textura

Track, Inpaint, Resplat: Subject-driven 3D and 4D Generation with Progressive Texture Infilling

October 27, 2025

Autores: Shuhong Zheng, Ashkan Mirzaei, Igor Gilitschenski

cs.AI

Resumen

Los métodos actuales de generación 3D/4D suelen optimizarse para el fotorrealismo, la eficiencia y la estética. Sin embargo, a menudo no logran preservar la identidad semántica del sujeto en diferentes puntos de vista. La adaptación de métodos de generación con una o pocas imágenes de un sujeto específico (también conocido como Personalización o Generación guiada por sujeto) permite generar contenido visual que se alinea con la identidad del sujeto. No obstante, la generación 3D/4D personalizada sigue estando en gran medida poco explorada. En este trabajo, presentamos TIRE (Track, Inpaint, REsplat), un método novedoso para la generación 3D/4D guiada por sujeto. Toma como entrada un activo 3D inicial producido por un modelo generativo 3D existente y utiliza seguimiento de video para identificar las regiones que necesitan modificarse. Luego, adoptamos un modelo de inpaint 2D guiado por sujeto para rellenar progresivamente las regiones identificadas. Finalmente, re-proyectamos (resplat) las observaciones 2D multi-vista modificadas de vuelta a 3D manteniendo la consistencia. Experimentos exhaustivos demuestran que nuestro enfoque mejora significativamente la preservación de la identidad en la generación 3D/4D en comparación con los métodos state-of-the-art. Nuestro sitio web del proyecto está disponible en https://zsh2000.github.io/track-inpaint-resplat.github.io/.

English

Current 3D/4D generation methods are usually optimized for photorealism, efficiency, and aesthetics. However, they often fail to preserve the semantic identity of the subject across different viewpoints. Adapting generation methods with one or few images of a specific subject (also known as Personalization or Subject-driven generation) allows generating visual content that align with the identity of the subject. However, personalized 3D/4D generation is still largely underexplored. In this work, we introduce TIRE (Track, Inpaint, REsplat), a novel method for subject-driven 3D/4D generation. It takes an initial 3D asset produced by an existing 3D generative model as input and uses video tracking to identify the regions that need to be modified. Then, we adopt a subject-driven 2D inpainting model for progressively infilling the identified regions. Finally, we resplat the modified 2D multi-view observations back to 3D while still maintaining consistency. Extensive experiments demonstrate that our approach significantly improves identity preservation in 3D/4D generation compared to state-of-the-art methods. Our project website is available at https://zsh2000.github.io/track-inpaint-resplat.github.io/.