MOVIS : Amélioration de la Synthèse de Nouvelles Vues Multi-Objets pour les Scènes Intérieures

MOVIS: Enhancing Multi-Object Novel View Synthesis for Indoor Scenes

December 16, 2024

Auteurs: Ruijie Lu, Yixin Chen, Junfeng Ni, Baoxiong Jia, Yu Liu, Diwen Wan, Gang Zeng, Siyuan Huang

cs.AI

Résumé

La reconversion des modèles de diffusion pré-entraînés s'est avérée efficace pour la synthèse de vues nouvelles (NVS). Cependant, ces méthodes sont principalement limitées à un seul objet ; l'application directe de ces méthodes à des scénarios compositionnels multi-objets donne des résultats inférieurs, notamment un placement incorrect des objets et une forme et une apparence incohérentes sous des vues nouvelles. Comment améliorer et évaluer systématiquement la cohérence inter-vues de tels modèles reste peu exploré. Pour résoudre ce problème, nous proposons MOVIS pour améliorer la conscience structurelle du modèle de diffusion conditionné par la vue pour la NVS multi-objets en termes d'entrées du modèle, de tâches auxiliaires et de stratégie d'entraînement. Tout d'abord, nous injectons des caractéristiques conscientes de la structure, y compris la profondeur et le masque d'objet, dans le U-Net de débruitage pour améliorer la compréhension du modèle des instances d'objets et de leurs relations spatiales. Ensuite, nous introduisons une tâche auxiliaire exigeant que le modèle prédise simultanément des masques d'objets en vue nouvelle, améliorant ainsi la capacité du modèle à différencier et placer les objets. Enfin, nous menons une analyse approfondie du processus d'échantillonnage de la diffusion et concevons soigneusement un planificateur d'échantillonnage guidé par la structure pendant l'entraînement, qui équilibre l'apprentissage du placement global des objets et de la récupération des détails fins. Pour évaluer systématiquement la plausibilité des images synthétisées, nous proposons d'évaluer la cohérence inter-vues et le placement des objets en vue nouvelle aux côtés des métriques existantes de la NVS au niveau de l'image. Des expériences approfondies sur des ensembles de données synthétiques et réalistes difficiles démontrent que notre méthode présente de fortes capacités de généralisation et produit une synthèse de vues nouvelles cohérente, mettant en évidence son potentiel pour guider les futures tâches de NVS multi-objets conscientes de la 3D.

English

Repurposing pre-trained diffusion models has been proven to be effective for NVS. However, these methods are mostly limited to a single object; directly applying such methods to compositional multi-object scenarios yields inferior results, especially incorrect object placement and inconsistent shape and appearance under novel views. How to enhance and systematically evaluate the cross-view consistency of such models remains under-explored. To address this issue, we propose MOVIS to enhance the structural awareness of the view-conditioned diffusion model for multi-object NVS in terms of model inputs, auxiliary tasks, and training strategy. First, we inject structure-aware features, including depth and object mask, into the denoising U-Net to enhance the model's comprehension of object instances and their spatial relationships. Second, we introduce an auxiliary task requiring the model to simultaneously predict novel view object masks, further improving the model's capability in differentiating and placing objects. Finally, we conduct an in-depth analysis of the diffusion sampling process and carefully devise a structure-guided timestep sampling scheduler during training, which balances the learning of global object placement and fine-grained detail recovery. To systematically evaluate the plausibility of synthesized images, we propose to assess cross-view consistency and novel view object placement alongside existing image-level NVS metrics. Extensive experiments on challenging synthetic and realistic datasets demonstrate that our method exhibits strong generalization capabilities and produces consistent novel view synthesis, highlighting its potential to guide future 3D-aware multi-object NVS tasks.