MIDI: Difusión de Múltiples Instancias para la Generación de Escenas 3D a partir de una Imagen Única

MIDI: Multi-Instance Diffusion for Single Image to 3D Scene Generation

December 4, 2024

Autores: Zehuan Huang, Yuan-Chen Guo, Xingqiao An, Yunhan Yang, Yangguang Li, Zi-Xin Zou, Ding Liang, Xihui Liu, Yan-Pei Cao, Lu Sheng

cs.AI

Resumen

Este artículo presenta MIDI, un nuevo paradigma para la generación composicional de escenas 3D a partir de una sola imagen. A diferencia de los métodos existentes que se basan en técnicas de reconstrucción o recuperación, o en enfoques recientes que emplean generación objeto por objeto en múltiples etapas, MIDI extiende modelos pre-entrenados de generación de objetos 3D a modelos de difusión multi-instancia, permitiendo la generación simultánea de múltiples instancias 3D con relaciones espaciales precisas y alta generalización. En su núcleo, MIDI incorpora un mecanismo de atención multi-instancia novedoso, que captura de manera efectiva las interacciones entre objetos y la coherencia espacial directamente dentro del proceso de generación, sin necesidad de procesos multi-paso complejos. El método utiliza imágenes parciales de objetos y contexto global de escena como entradas, modelando directamente la completitud del objeto durante la generación 3D. Durante el entrenamiento, supervisamos de manera efectiva las interacciones entre instancias 3D utilizando una cantidad limitada de datos a nivel de escena, al mismo tiempo que incorporamos datos de un solo objeto para regularización, manteniendo así la capacidad de generalización pre-entrenada. MIDI demuestra un rendimiento de vanguardia en la generación de escenas a partir de imágenes, validado a través de evaluaciones en datos sintéticos, datos de escenas del mundo real e imágenes de escenas estilizadas generadas por modelos de difusión de texto a imagen.

English

This paper introduces MIDI, a novel paradigm for compositional 3D scene generation from a single image. Unlike existing methods that rely on reconstruction or retrieval techniques or recent approaches that employ multi-stage object-by-object generation, MIDI extends pre-trained image-to-3D object generation models to multi-instance diffusion models, enabling the simultaneous generation of multiple 3D instances with accurate spatial relationships and high generalizability. At its core, MIDI incorporates a novel multi-instance attention mechanism, that effectively captures inter-object interactions and spatial coherence directly within the generation process, without the need for complex multi-step processes. The method utilizes partial object images and global scene context as inputs, directly modeling object completion during 3D generation. During training, we effectively supervise the interactions between 3D instances using a limited amount of scene-level data, while incorporating single-object data for regularization, thereby maintaining the pre-trained generalization ability. MIDI demonstrates state-of-the-art performance in image-to-scene generation, validated through evaluations on synthetic data, real-world scene data, and stylized scene images generated by text-to-image diffusion models.