Отслеживание, восстановление, перерисовка: управляемое объектом 3D- и 4D-генерирование с прогрессивным заполнением текстур

Track, Inpaint, Resplat: Subject-driven 3D and 4D Generation with Progressive Texture Infilling

October 27, 2025

Авторы: Shuhong Zheng, Ashkan Mirzaei, Igor Gilitschenski

cs.AI

Аннотация

Современные методы генерации 3D/4D-контента обычно оптимизируются для достижения фотореалистичности, эффективности и эстетичности. Однако они зачастую не сохраняют семантическую идентичность объекта при смене ракурсов. Адаптация методов генерации с использованием одного или нескольких изображений конкретного объекта (также известная как персонализация или предметно-ориентированная генерация) позволяет создавать визуальный контент, соответствующий идентичности объекта. Тем не менее, персонализированная 3D/4D-генерация остаётся слабо изученной областью. В данной работе мы представляем TIRE (Track, Inpaint, REsplat) — новый метод предметно-ориентированной 3D/4D-генерации. Наш метод принимает на вход исходный 3D-ассет, созданный существующей генеративной моделью, и использует видеотрекинг для идентификации областей, требующих модификации. Затем мы применяем предметно-ориентированную 2D-модель инпейнтинга для прогрессивного заполнения выявленных областей. Наконец, мы повторно проецируем модифицированные 2D-наблюдения с нескольких viewpoints обратно в 3D, сохраняя согласованность. Многочисленные эксперименты демонстрируют, что наш подход значительно улучшает сохранение идентичности в 3D/4D-генерации по сравнению с современными методами. Сайт проекта доступен по адресу https://zsh2000.github.io/track-inpaint-resplat.github.io/.

English

Current 3D/4D generation methods are usually optimized for photorealism, efficiency, and aesthetics. However, they often fail to preserve the semantic identity of the subject across different viewpoints. Adapting generation methods with one or few images of a specific subject (also known as Personalization or Subject-driven generation) allows generating visual content that align with the identity of the subject. However, personalized 3D/4D generation is still largely underexplored. In this work, we introduce TIRE (Track, Inpaint, REsplat), a novel method for subject-driven 3D/4D generation. It takes an initial 3D asset produced by an existing 3D generative model as input and uses video tracking to identify the regions that need to be modified. Then, we adopt a subject-driven 2D inpainting model for progressively infilling the identified regions. Finally, we resplat the modified 2D multi-view observations back to 3D while still maintaining consistency. Extensive experiments demonstrate that our approach significantly improves identity preservation in 3D/4D generation compared to state-of-the-art methods. Our project website is available at https://zsh2000.github.io/track-inpaint-resplat.github.io/.