トラック、インペイント、リスプラット：プログレッシブテクスチャ充填による被写体駆動型3D・4D生成

要旨

現在の3D/4D生成手法は、写実性、効率性、審美性の最適化が一般的である。しかし、異なる視点間で被写体の意味的同一性を保持することには未だ課題が多い。特定の被写体の1枚または少数の画像を用いた生成手法の適応（パーソナライゼーションまたは被写体駆動生成とも呼ばれる）により、被写体の同一性に沿った視覚コンテンツの生成が可能となる。しかし、パーソナライズド3D/4D生成は依然としてほとんど研究が進んでいない。本研究では、被写体駆動型3D/4D生成のための新規手法であるTIRE（Track, Inpaint, REsplat）を提案する。本手法は、既存の3D生成モデルによって生成された初期3Dアセットを入力とし、ビデオ追跡技術を用いて修正が必要な領域を特定する。次に、被写体駆動型の2Dインペインティングモデルを採用し、特定された領域を段階的に補完する。最後に、修正された2Dマルチビュー観測データを3D空間に再スプラッティングし、一貫性を維持する。大規模な実験により、本手法が従来の最先端手法と比較して、3D/4D生成における同一性保持を大幅に改善することを実証した。プロジェクトウェブサイトはhttps://zsh2000.github.io/track-inpaint-resplat.github.io/で公開されている。

English

Current 3D/4D generation methods are usually optimized for photorealism, efficiency, and aesthetics. However, they often fail to preserve the semantic identity of the subject across different viewpoints. Adapting generation methods with one or few images of a specific subject (also known as Personalization or Subject-driven generation) allows generating visual content that align with the identity of the subject. However, personalized 3D/4D generation is still largely underexplored. In this work, we introduce TIRE (Track, Inpaint, REsplat), a novel method for subject-driven 3D/4D generation. It takes an initial 3D asset produced by an existing 3D generative model as input and uses video tracking to identify the regions that need to be modified. Then, we adopt a subject-driven 2D inpainting model for progressively infilling the identified regions. Finally, we resplat the modified 2D multi-view observations back to 3D while still maintaining consistency. Extensive experiments demonstrate that our approach significantly improves identity preservation in 3D/4D generation compared to state-of-the-art methods. Our project website is available at https://zsh2000.github.io/track-inpaint-resplat.github.io/.

トラック、インペイント、リスプラット：プログレッシブテクスチャ充填による被写体駆動型3D・4D生成

Track, Inpaint, Resplat: Subject-driven 3D and 4D Generation with Progressive Texture Infilling

要旨

Support