MOVIS: 屋内シーンの複数オブジェクトの新しい視点合成の向上

MOVIS: Enhancing Multi-Object Novel View Synthesis for Indoor Scenes

December 16, 2024

著者: Ruijie Lu, Yixin Chen, Junfeng Ni, Baoxiong Jia, Yu Liu, Diwen Wan, Gang Zeng, Siyuan Huang

cs.AI

要旨

事前に学習された拡散モデルを再利用することが、多対多シーンにおける物体合成（NVS）に対して効果的であることが証明されています。しかしながら、これらの手法は主に単一の物体に限定されており、これらの手法を直接複合的な多物体シナリオに適用すると、特に誤った物体配置や新しい視点での形状と外観の一貫性において劣る結果が得られます。このようなモデルのクロスビューの一貫性を向上させ、系統的に評価する方法は未だに未開拓の領域です。この問題に対処するために、我々は、モデルの入力、補助タスク、およびトレーニング戦略の観点から、多物体NVSのためのビュー条件付き拡散モデルの構造認識を向上させるMOVISを提案します。まず、denoising U-Netに深度や物体マスクなどの構造認識機能を注入し、物体インスタンスとそれらの空間的関係の理解を向上させます。次に、モデルに新しい視点の物体マスクを同時に予測する補助タスクを導入し、物体の識別と配置をさらに向上させます。最後に、拡散サンプリングプロセスを詳細に分析し、トレーニング中に構造ガイドのタイムステップサンプリングスケジューラを慎重に設計し、グローバルな物体配置と詳細な復元の学習をバランスさせます。合成画像の妥当性を系統的に評価するために、既存の画像レベルのNVSメトリクスと並行して、クロスビューの一貫性と新しい視点の物体配置を評価することを提案します。難解な合成データセットと現実的なデータセットでの広範な実験により、当社の手法が強力な汎化能力を示し、一貫した新しい視点合成を生み出すことが示され、将来の3D認識多物体NVSタスクを指針とする潜在能力が強調されています。

English

Repurposing pre-trained diffusion models has been proven to be effective for NVS. However, these methods are mostly limited to a single object; directly applying such methods to compositional multi-object scenarios yields inferior results, especially incorrect object placement and inconsistent shape and appearance under novel views. How to enhance and systematically evaluate the cross-view consistency of such models remains under-explored. To address this issue, we propose MOVIS to enhance the structural awareness of the view-conditioned diffusion model for multi-object NVS in terms of model inputs, auxiliary tasks, and training strategy. First, we inject structure-aware features, including depth and object mask, into the denoising U-Net to enhance the model's comprehension of object instances and their spatial relationships. Second, we introduce an auxiliary task requiring the model to simultaneously predict novel view object masks, further improving the model's capability in differentiating and placing objects. Finally, we conduct an in-depth analysis of the diffusion sampling process and carefully devise a structure-guided timestep sampling scheduler during training, which balances the learning of global object placement and fine-grained detail recovery. To systematically evaluate the plausibility of synthesized images, we propose to assess cross-view consistency and novel view object placement alongside existing image-level NVS metrics. Extensive experiments on challenging synthetic and realistic datasets demonstrate that our method exhibits strong generalization capabilities and produces consistent novel view synthesis, highlighting its potential to guide future 3D-aware multi-object NVS tasks.