Track, Inpaint, Resplat: Subject-gestuurde 3D- en 4D-generatie met progressieve textuurinvulling

Track, Inpaint, Resplat: Subject-driven 3D and 4D Generation with Progressive Texture Infilling

October 27, 2025

Auteurs: Shuhong Zheng, Ashkan Mirzaei, Igor Gilitschenski

cs.AI

Samenvatting

Huidige 3D/4D-generatiemethoden zijn doorgaans geoptimaliseerd voor fotorealisme, efficiëntie en esthetiek. Ze slagen er echter vaak niet in de semantische identiteit van het onderwerp bij verschillende gezichtspunten te behouden. Het aanpassen van generatiemethoden met één of enkele afbeeldingen van een specifiek onderwerp (ook wel personalisatie of onderwerpgestuurde generatie genoemd) maakt het mogelijk visuele inhoud te genereren die overeenkomt met de identiteit van het onderwerp. Toch is gepersonaliseerde 3D/4D-generatie grotendeels nog onvoldoende onderzocht. In dit werk introduceren we TIRE (Track, Inpaint, REsplat), een nieuwe methode voor onderwerpgestuurde 3D/4D-generatie. De methode neemt een initieel 3D-model gegenereerd door een bestaand 3D-generatief model als invoer en gebruikt videotracking om de regio's te identificeren die aangepast moeten worden. Vervolgens passen we een onderwerpgestuurd 2D-inpaintingmodel toe om de geïdentificeerde regio's progressief in te vullen. Ten slotte splatten we de aangepaste 2D-multi-viewobservaties terug naar 3D met behoud van consistentie. Uitgebreide experimenten tonen aan dat onze aanpak de identiteitsbehoud in 3D/4D-generatie significant verbetert in vergelijking met state-of-the-artmethoden. Onze projectwebsite is beschikbaar op https://zsh2000.github.io/track-inpaint-resplat.github.io/.

English

Current 3D/4D generation methods are usually optimized for photorealism, efficiency, and aesthetics. However, they often fail to preserve the semantic identity of the subject across different viewpoints. Adapting generation methods with one or few images of a specific subject (also known as Personalization or Subject-driven generation) allows generating visual content that align with the identity of the subject. However, personalized 3D/4D generation is still largely underexplored. In this work, we introduce TIRE (Track, Inpaint, REsplat), a novel method for subject-driven 3D/4D generation. It takes an initial 3D asset produced by an existing 3D generative model as input and uses video tracking to identify the regions that need to be modified. Then, we adopt a subject-driven 2D inpainting model for progressively infilling the identified regions. Finally, we resplat the modified 2D multi-view observations back to 3D while still maintaining consistency. Extensive experiments demonstrate that our approach significantly improves identity preservation in 3D/4D generation compared to state-of-the-art methods. Our project website is available at https://zsh2000.github.io/track-inpaint-resplat.github.io/.