MOVIS: Melhorando a Síntese de Novas Visualizações de Múltiplos Objetos para Cenas Internas

MOVIS: Enhancing Multi-Object Novel View Synthesis for Indoor Scenes

December 16, 2024

Autores: Ruijie Lu, Yixin Chen, Junfeng Ni, Baoxiong Jia, Yu Liu, Diwen Wan, Gang Zeng, Siyuan Huang

cs.AI

Resumo

Reutilizar modelos de difusão pré-treinados tem se mostrado eficaz para NVS. No entanto, esses métodos são principalmente limitados a um único objeto; aplicar diretamente tais métodos a cenários compostos por múltiplos objetos resulta em resultados inferiores, especialmente em relação ao posicionamento incorreto de objetos e à inconsistência de forma e aparência sob novas visualizações. Como aprimorar e avaliar sistematicamente a consistência entre visualizações desses modelos permanece pouco explorado. Para abordar essa questão, propomos o MOVIS para aprimorar a consciência estrutural do modelo de difusão condicionado à visualização para NVS de múltiplos objetos em termos de entradas do modelo, tarefas auxiliares e estratégia de treinamento. Primeiramente, injetamos características conscientes da estrutura, incluindo profundidade e máscara de objeto, no U-Net de remoção de ruído para aprimorar a compreensão do modelo das instâncias de objetos e suas relações espaciais. Em segundo lugar, introduzimos uma tarefa auxiliar que requer que o modelo preveja simultaneamente máscaras de objetos de novas visualizações, melhorando ainda mais a capacidade do modelo de diferenciar e posicionar objetos. Por fim, realizamos uma análise aprofundada do processo de amostragem de difusão e elaboramos cuidadosamente um agendador de amostragem de passos orientado por estrutura durante o treinamento, que equilibra a aprendizagem do posicionamento global de objetos e a recuperação de detalhes refinados. Para avaliar sistematicamente a plausibilidade de imagens sintetizadas, propomos avaliar a consistência entre visualizações e o posicionamento de objetos de novas visualizações juntamente com métricas de NVS em nível de imagem existentes. Experimentos extensivos em conjuntos de dados desafiadores sintéticos e realistas demonstram que nosso método exibe fortes capacidades de generalização e produz uma síntese consistente de novas visualizações, destacando seu potencial para orientar futuras tarefas de NVS de múltiplos objetos conscientes de 3D.

English

Repurposing pre-trained diffusion models has been proven to be effective for NVS. However, these methods are mostly limited to a single object; directly applying such methods to compositional multi-object scenarios yields inferior results, especially incorrect object placement and inconsistent shape and appearance under novel views. How to enhance and systematically evaluate the cross-view consistency of such models remains under-explored. To address this issue, we propose MOVIS to enhance the structural awareness of the view-conditioned diffusion model for multi-object NVS in terms of model inputs, auxiliary tasks, and training strategy. First, we inject structure-aware features, including depth and object mask, into the denoising U-Net to enhance the model's comprehension of object instances and their spatial relationships. Second, we introduce an auxiliary task requiring the model to simultaneously predict novel view object masks, further improving the model's capability in differentiating and placing objects. Finally, we conduct an in-depth analysis of the diffusion sampling process and carefully devise a structure-guided timestep sampling scheduler during training, which balances the learning of global object placement and fine-grained detail recovery. To systematically evaluate the plausibility of synthesized images, we propose to assess cross-view consistency and novel view object placement alongside existing image-level NVS metrics. Extensive experiments on challenging synthetic and realistic datasets demonstrate that our method exhibits strong generalization capabilities and produces consistent novel view synthesis, highlighting its potential to guide future 3D-aware multi-object NVS tasks.