트랙, 인페인트, 리스플랫: 점진적 텍스처 채움을 통한 주체 중심 3D 및 4D 생성

Track, Inpaint, Resplat: Subject-driven 3D and 4D Generation with Progressive Texture Infilling

October 27, 2025

저자: Shuhong Zheng, Ashkan Mirzaei, Igor Gilitschenski

cs.AI

초록

현재 3D/4D 생성 방법은 일반적으로 사실성, 효율성, 미적 측면에 최적화되어 있습니다. 그러나 이러한 방법들은 다양한 시점에서 대상의 의미론적 정체성을 보존하는 데 종종 실패합니다. 특정 대상의 한 장 또는 소량의 이미지로 생성 방법을 적용하는 개인화 또는 대상 주도 생성 방식은 대상의 정체성과 일치하는 시각 콘텐츠 생성이 가능하게 합니다. 하지만 개인화된 3D/4D 생성은 여전히 크게 탐구되지 않은 분야입니다. 본 연구에서는 대상 주도 3D/4D 생성을 위한 새로운 방법인 TIRE(Track, Inpaint, REsplat)를 소개합니다. 우리의 방법은 기존 3D 생성 모델로 생성된 초기 3D 에셋을 입력으로 사용하며, 비디오 추적을 통해 수정이 필요한 영역을 식별합니다. 그런 다음 식별된 영역을 점진적으로 채우기 위해 대상 주도 2D 인페인팅 모델을 도입합니다. 마지막으로 일관성을 유지하면서 수정된 2D 다중 뷰 관측값을 3D로 재배치합니다. 폭넓은 실험을 통해 우리의 접근 방식이 최첨단 방법론과 비교하여 3D/4D 생성에서 정체성 보존을 크게 향상시킴을 입증합니다. 우리의 프로젝트 웹사이트는 https://zsh2000.github.io/track-inpaint-resplat.github.io/에서 확인할 수 있습니다.

English

Current 3D/4D generation methods are usually optimized for photorealism, efficiency, and aesthetics. However, they often fail to preserve the semantic identity of the subject across different viewpoints. Adapting generation methods with one or few images of a specific subject (also known as Personalization or Subject-driven generation) allows generating visual content that align with the identity of the subject. However, personalized 3D/4D generation is still largely underexplored. In this work, we introduce TIRE (Track, Inpaint, REsplat), a novel method for subject-driven 3D/4D generation. It takes an initial 3D asset produced by an existing 3D generative model as input and uses video tracking to identify the regions that need to be modified. Then, we adopt a subject-driven 2D inpainting model for progressively infilling the identified regions. Finally, we resplat the modified 2D multi-view observations back to 3D while still maintaining consistency. Extensive experiments demonstrate that our approach significantly improves identity preservation in 3D/4D generation compared to state-of-the-art methods. Our project website is available at https://zsh2000.github.io/track-inpaint-resplat.github.io/.