MOVIS: Mejorando la Síntesis de Vistas Nuevas de Múltiples Objetos para Escenas Interiores

MOVIS: Enhancing Multi-Object Novel View Synthesis for Indoor Scenes

December 16, 2024

Autores: Ruijie Lu, Yixin Chen, Junfeng Ni, Baoxiong Jia, Yu Liu, Diwen Wan, Gang Zeng, Siyuan Huang

cs.AI

Resumen

Reutilizar modelos de difusión pre-entrenados ha demostrado ser efectivo para NVS. Sin embargo, estos métodos están mayormente limitados a un solo objeto; aplicar directamente dichos métodos a escenarios compuestos de múltiples objetos resulta en resultados inferiores, especialmente en la colocación incorrecta de objetos y en una forma y apariencia inconsistentes bajo vistas novedosas. Cómo mejorar y evaluar sistemáticamente la consistencia entre vistas de tales modelos sigue siendo poco explorado. Para abordar este problema, proponemos MOVIS para mejorar la conciencia estructural del modelo de difusión condicionado por vista para NVS de múltiples objetos en términos de entradas del modelo, tareas auxiliares y estrategia de entrenamiento. Primero, inyectamos características conscientes de la estructura, incluyendo profundidad y máscara de objeto, en la U-Net de eliminación de ruido para mejorar la comprensión del modelo de instancias de objetos y sus relaciones espaciales. Segundo, introducimos una tarea auxiliar que requiere que el modelo prediga simultáneamente máscaras de objetos de vista novedosa, mejorando aún más la capacidad del modelo para diferenciar y colocar objetos. Finalmente, realizamos un análisis exhaustivo del proceso de muestreo de difusión y diseñamos cuidadosamente un programador de muestreo de pasos guiado por la estructura durante el entrenamiento, que equilibra el aprendizaje de la colocación global de objetos y la recuperación de detalles detallados. Para evaluar sistemáticamente la plausibilidad de las imágenes sintetizadas, proponemos evaluar la consistencia entre vistas y la colocación de objetos de vista novedosa junto con métricas de NVS a nivel de imagen existentes. Experimentos extensos en conjuntos de datos sintéticos y realistas desafiantes demuestran que nuestro método exhibe fuertes capacidades de generalización y produce una síntesis de vista novedosa consistente, resaltando su potencial para guiar futuras tareas de NVS de múltiples objetos conscientes del 3D.

English

Repurposing pre-trained diffusion models has been proven to be effective for NVS. However, these methods are mostly limited to a single object; directly applying such methods to compositional multi-object scenarios yields inferior results, especially incorrect object placement and inconsistent shape and appearance under novel views. How to enhance and systematically evaluate the cross-view consistency of such models remains under-explored. To address this issue, we propose MOVIS to enhance the structural awareness of the view-conditioned diffusion model for multi-object NVS in terms of model inputs, auxiliary tasks, and training strategy. First, we inject structure-aware features, including depth and object mask, into the denoising U-Net to enhance the model's comprehension of object instances and their spatial relationships. Second, we introduce an auxiliary task requiring the model to simultaneously predict novel view object masks, further improving the model's capability in differentiating and placing objects. Finally, we conduct an in-depth analysis of the diffusion sampling process and carefully devise a structure-guided timestep sampling scheduler during training, which balances the learning of global object placement and fine-grained detail recovery. To systematically evaluate the plausibility of synthesized images, we propose to assess cross-view consistency and novel view object placement alongside existing image-level NVS metrics. Extensive experiments on challenging synthetic and realistic datasets demonstrate that our method exhibits strong generalization capabilities and produces consistent novel view synthesis, highlighting its potential to guide future 3D-aware multi-object NVS tasks.