Track, Inpaint, Resplat: Subjektgesteuerte 3D- und 4D-Generierung mit progressiver Texturauffüllung

Track, Inpaint, Resplat: Subject-driven 3D and 4D Generation with Progressive Texture Infilling

October 27, 2025

papers.authors: Shuhong Zheng, Ashkan Mirzaei, Igor Gilitschenski

cs.AI

papers.abstract

Aktuelle 3D/4D-Generierungsmethoden sind in der Regel auf Fotorealismus, Effizienz und Ästhetik optimiert. Allerdings gelingt es ihnen oft nicht, die semantische Identität des Subjekts über verschiedene Blickwinkel hinweg zu erhalten. Die Anpassung von Generierungsmethoden mit einem oder wenigen Bildern eines bestimmten Subjekts (auch bekannt als Personalisierung oder subjektgesteuerte Generierung) ermöglicht die Erzeugung von visuellen Inhalten, die mit der Identität des Subjekts übereinstimmen. Die personalisierte 3D/4D-Generierung ist jedoch noch weitgehend unerforscht. In dieser Arbeit stellen wir TIRE (Track, Inpaint, REsplat) vor, eine neuartige Methode für die subjektgesteuerte 3D/4D-Generierung. Sie nimmt ein initiales 3D-Asset, das von einem bestehenden 3D-Generativmodell erzeugt wurde, als Eingabe und verwendet Videotracking, um die Regionen zu identifizieren, die modifiziert werden müssen. Anschließend setzen wir ein subjektgesteuertes 2D-Inpainting-Modell ein, um die identifizierten Regionen progressiv zu vervollständigen. Schließlich projizieren wir die modifizierten 2D-Multi-View-Beobachtungen zurück in den 3D-Raum und wahren dabei gleichzeitig die Konsistenz. Umfangreiche Experimente belegen, dass unser Ansatz die Identitätserhaltung in der 3D/4D-Generierung im Vergleich zu state-of-the-art Methoden signifikant verbessert. Unsere Projektwebsite ist unter https://zsh2000.github.io/track-inpaint-resplat.github.io/ verfügbar.

English

Current 3D/4D generation methods are usually optimized for photorealism, efficiency, and aesthetics. However, they often fail to preserve the semantic identity of the subject across different viewpoints. Adapting generation methods with one or few images of a specific subject (also known as Personalization or Subject-driven generation) allows generating visual content that align with the identity of the subject. However, personalized 3D/4D generation is still largely underexplored. In this work, we introduce TIRE (Track, Inpaint, REsplat), a novel method for subject-driven 3D/4D generation. It takes an initial 3D asset produced by an existing 3D generative model as input and uses video tracking to identify the regions that need to be modified. Then, we adopt a subject-driven 2D inpainting model for progressively infilling the identified regions. Finally, we resplat the modified 2D multi-view observations back to 3D while still maintaining consistency. Extensive experiments demonstrate that our approach significantly improves identity preservation in 3D/4D generation compared to state-of-the-art methods. Our project website is available at https://zsh2000.github.io/track-inpaint-resplat.github.io/.