Track, Inpaint, Resplat: Generazione 3D e 4D guidata dal soggetto con Riempimento Texture Progressivo

Track, Inpaint, Resplat: Subject-driven 3D and 4D Generation with Progressive Texture Infilling

October 27, 2025

Autori: Shuhong Zheng, Ashkan Mirzaei, Igor Gilitschenski

cs.AI

Abstract

I metodi attuali di generazione 3D/4D sono generalmente ottimizzati per il fotorealismo, l'efficienza e l'estetica. Tuttavia, spesso non riescono a preservare l'identità semantica del soggetto attraverso diversi punti di vista. L'adattamento dei metodi di generazione con una o poche immagini di un soggetto specifico (noto anche come Personalizzazione o Generazione guidata dal soggetto) consente di generare contenuti visivi che si allineano con l'identità del soggetto. Tuttavia, la generazione 3D/4D personalizzata è ancora in gran parte inesplorata. In questo lavoro, introduciamo TIRE (Track, Inpaint, REsplat), un nuovo metodo per la generazione 3D/4D guidata dal soggetto. Il metodo prende in input un asset 3D iniziale prodotto da un modello generativo 3D esistente e utilizza il tracciamento video per identificare le regioni che necessitano di modifica. Successivamente, adottiamo un modello di inpaint 2D guidato dal soggetto per riempire progressivamente le regioni identificate. Infine, risplattiamo le osservazioni 2D multi-vista modificate nuovamente in 3D mantenendo la coerenza. Esperimenti estensivi dimostrano che il nostro approccio migliora significativamente la preservazione dell'identità nella generazione 3D/4D rispetto ai metodi allo stato dell'arte. Il nostro sito web del progetto è disponibile all'indirizzo https://zsh2000.github.io/track-inpaint-resplat.github.io/.

English

Current 3D/4D generation methods are usually optimized for photorealism, efficiency, and aesthetics. However, they often fail to preserve the semantic identity of the subject across different viewpoints. Adapting generation methods with one or few images of a specific subject (also known as Personalization or Subject-driven generation) allows generating visual content that align with the identity of the subject. However, personalized 3D/4D generation is still largely underexplored. In this work, we introduce TIRE (Track, Inpaint, REsplat), a novel method for subject-driven 3D/4D generation. It takes an initial 3D asset produced by an existing 3D generative model as input and uses video tracking to identify the regions that need to be modified. Then, we adopt a subject-driven 2D inpainting model for progressively infilling the identified regions. Finally, we resplat the modified 2D multi-view observations back to 3D while still maintaining consistency. Extensive experiments demonstrate that our approach significantly improves identity preservation in 3D/4D generation compared to state-of-the-art methods. Our project website is available at https://zsh2000.github.io/track-inpaint-resplat.github.io/.