Track, Inpaint, Resplat : Génération 3D et 4D pilotée par un sujet avec remplissage progressif de texture

Track, Inpaint, Resplat: Subject-driven 3D and 4D Generation with Progressive Texture Infilling

October 27, 2025

papers.authors: Shuhong Zheng, Ashkan Mirzaei, Igor Gilitschenski

cs.AI

papers.abstract

Les méthodes actuelles de génération 3D/4D sont généralement optimisées pour le photoréalisme, l'efficacité et l'esthétique. Cependant, elles échouent souvent à préserver l'identité sémantique du sujet sous différents points de vue. L'adaptation des méthodes de génération avec une ou quelques images d'un sujet spécifique (également appelée personnalisation ou génération pilotée par le sujet) permet de créer un contenu visuel aligné avec l'identité du sujet. Néanmoins, la génération 3D/4D personnalisée reste largement inexplorée. Dans ce travail, nous présentons TIRE (Track, Inpaint, REsplat), une nouvelle méthode pour la génération 3D/4D pilotée par le sujet. Notre approche prend comme entrée un actif 3D initial produit par un modèle génératif 3D existant et utilise le suivi vidéo pour identifier les régions nécessitant une modification. Ensuite, nous adoptons un modèle d'inpainting 2D piloté par le sujet pour remplir progressivement les zones identifiées. Enfin, nous réintégrons les observations 2D multi-vues modifiées dans l'espace 3D tout en maintenant la cohérence. Des expériences approfondies démontrent que notre approche améliore significativement la préservation de l'identité dans la génération 3D/4D par rapport aux méthodes state-of-the-art. Notre site web projet est disponible à l'adresse https://zsh2000.github.io/track-inpaint-resplat.github.io/.

English

Current 3D/4D generation methods are usually optimized for photorealism, efficiency, and aesthetics. However, they often fail to preserve the semantic identity of the subject across different viewpoints. Adapting generation methods with one or few images of a specific subject (also known as Personalization or Subject-driven generation) allows generating visual content that align with the identity of the subject. However, personalized 3D/4D generation is still largely underexplored. In this work, we introduce TIRE (Track, Inpaint, REsplat), a novel method for subject-driven 3D/4D generation. It takes an initial 3D asset produced by an existing 3D generative model as input and uses video tracking to identify the regions that need to be modified. Then, we adopt a subject-driven 2D inpainting model for progressively infilling the identified regions. Finally, we resplat the modified 2D multi-view observations back to 3D while still maintaining consistency. Extensive experiments demonstrate that our approach significantly improves identity preservation in 3D/4D generation compared to state-of-the-art methods. Our project website is available at https://zsh2000.github.io/track-inpaint-resplat.github.io/.