MIDI: Difusão de Múltiplas Instâncias para Geração de Cena 3D a partir de uma Única Imagem

MIDI: Multi-Instance Diffusion for Single Image to 3D Scene Generation

December 4, 2024

Autores: Zehuan Huang, Yuan-Chen Guo, Xingqiao An, Yunhan Yang, Yangguang Li, Zi-Xin Zou, Ding Liang, Xihui Liu, Yan-Pei Cao, Lu Sheng

cs.AI

Resumo

Este artigo apresenta o MIDI, um novo paradigma para geração de cenas 3D composicionais a partir de uma única imagem. Ao contrário dos métodos existentes que dependem de técnicas de reconstrução ou recuperação, ou abordagens recentes que empregam geração objeto a objeto em múltiplos estágios, o MIDI estende modelos de geração de objetos 3D a partir de imagens pré-treinadas para modelos de difusão multi-instância, permitindo a geração simultânea de múltiplas instâncias 3D com relações espaciais precisas e alta generalizabilidade. No cerne do MIDI, há a incorporação de um mecanismo de atenção multi-instância inovador, que captura de forma eficaz as interações entre objetos e a coerência espacial diretamente no processo de geração, sem a necessidade de processos complexos em múltiplas etapas. O método utiliza imagens parciais de objetos e contexto global da cena como entradas, modelando diretamente a conclusão do objeto durante a geração 3D. Durante o treinamento, supervisionamos efetivamente as interações entre instâncias 3D usando uma quantidade limitada de dados em nível de cena, enquanto incorporamos dados de objetos individuais para regularização, mantendo assim a capacidade de generalização pré-treinada. O MIDI demonstra um desempenho de ponta na geração de cena a partir de imagem, validado por avaliações em dados sintéticos, dados de cena do mundo real e imagens de cena estilizadas geradas por modelos de difusão de texto para imagem.

English

This paper introduces MIDI, a novel paradigm for compositional 3D scene generation from a single image. Unlike existing methods that rely on reconstruction or retrieval techniques or recent approaches that employ multi-stage object-by-object generation, MIDI extends pre-trained image-to-3D object generation models to multi-instance diffusion models, enabling the simultaneous generation of multiple 3D instances with accurate spatial relationships and high generalizability. At its core, MIDI incorporates a novel multi-instance attention mechanism, that effectively captures inter-object interactions and spatial coherence directly within the generation process, without the need for complex multi-step processes. The method utilizes partial object images and global scene context as inputs, directly modeling object completion during 3D generation. During training, we effectively supervise the interactions between 3D instances using a limited amount of scene-level data, while incorporating single-object data for regularization, thereby maintaining the pre-trained generalization ability. MIDI demonstrates state-of-the-art performance in image-to-scene generation, validated through evaluations on synthetic data, real-world scene data, and stylized scene images generated by text-to-image diffusion models.