MOVIS: Verbesserung der Mehrobjekt-Neuartigen Ansichtssynthese für Innenräume

MOVIS: Enhancing Multi-Object Novel View Synthesis for Indoor Scenes

December 16, 2024

Autoren: Ruijie Lu, Yixin Chen, Junfeng Ni, Baoxiong Jia, Yu Liu, Diwen Wan, Gang Zeng, Siyuan Huang

cs.AI

Zusammenfassung

Die Umnutzung vortrainierter Diffusionsmodelle hat sich als wirksam für NVS erwiesen. Diese Methoden sind jedoch hauptsächlich auf ein einzelnes Objekt beschränkt; die direkte Anwendung solcher Methoden auf zusammengesetzte Szenarien mit mehreren Objekten führt zu minderwertigen Ergebnissen, insbesondere zu falscher Objektplatzierung und inkonsistenter Form und Erscheinung unter neuen Ansichten. Wie die Cross-View-Konsistenz solcher Modelle verbessert und systematisch bewertet werden kann, ist noch wenig erforscht. Um dieses Problem anzugehen, schlagen wir MOVIS vor, um das strukturelle Bewusstsein des ansichtskonditionierten Diffusionsmodells für mehrere Objekte NVS in Bezug auf Modellinputs, Hilfsaufgaben und Trainingsstrategie zu verbessern. Zunächst injizieren wir strukturbewusste Merkmale, einschließlich Tiefe und Objektmaske, in das Rauschunterdrückungs-U-Net, um das Verständnis des Modells für Objektinstanzen und deren räumliche Beziehungen zu verbessern. Zweitens führen wir eine Hilfsaufgabe ein, bei der das Modell gleichzeitig neuartige Ansichtsobjektmasken vorhersagen muss, um die Fähigkeit des Modells zur Unterscheidung und Platzierung von Objekten weiter zu verbessern. Schließlich führen wir eine eingehende Analyse des Diffusionsabtastprozesses durch und entwickeln sorgfältig einen strukturgeführten Zeitschritt-Abtastplan während des Trainings, der das Lernen der globalen Objektplatzierung und die feinkörnige Detailwiederherstellung ausbalanciert. Um die Plausibilität synthetisierter Bilder systematisch zu bewerten, schlagen wir vor, die Cross-View-Konsistenz und die Platzierung von neuartigen Ansichtsobjekten neben bestehenden bildbasierten NVS-Metriken zu bewerten. Umfangreiche Experimente mit anspruchsvollen synthetischen und realistischen Datensätzen zeigen, dass unsere Methode starke Verallgemeinerungsfähigkeiten aufweist und konsistente Neuansichtssynthesen erzeugt, was ihr Potenzial verdeutlicht, zukünftige 3D-bewusste Multi-Objekt-NVS-Aufgaben zu leiten.

English

Repurposing pre-trained diffusion models has been proven to be effective for NVS. However, these methods are mostly limited to a single object; directly applying such methods to compositional multi-object scenarios yields inferior results, especially incorrect object placement and inconsistent shape and appearance under novel views. How to enhance and systematically evaluate the cross-view consistency of such models remains under-explored. To address this issue, we propose MOVIS to enhance the structural awareness of the view-conditioned diffusion model for multi-object NVS in terms of model inputs, auxiliary tasks, and training strategy. First, we inject structure-aware features, including depth and object mask, into the denoising U-Net to enhance the model's comprehension of object instances and their spatial relationships. Second, we introduce an auxiliary task requiring the model to simultaneously predict novel view object masks, further improving the model's capability in differentiating and placing objects. Finally, we conduct an in-depth analysis of the diffusion sampling process and carefully devise a structure-guided timestep sampling scheduler during training, which balances the learning of global object placement and fine-grained detail recovery. To systematically evaluate the plausibility of synthesized images, we propose to assess cross-view consistency and novel view object placement alongside existing image-level NVS metrics. Extensive experiments on challenging synthetic and realistic datasets demonstrate that our method exhibits strong generalization capabilities and produces consistent novel view synthesis, highlighting its potential to guide future 3D-aware multi-object NVS tasks.