MIDI : Diffusion Multi-Instance pour la Génération d'une Scène 3D à partir d'une Image Unique

MIDI: Multi-Instance Diffusion for Single Image to 3D Scene Generation

December 4, 2024

Auteurs: Zehuan Huang, Yuan-Chen Guo, Xingqiao An, Yunhan Yang, Yangguang Li, Zi-Xin Zou, Ding Liang, Xihui Liu, Yan-Pei Cao, Lu Sheng

cs.AI

Résumé

Cet article présente MIDI, un nouveau paradigme pour la génération de scènes 3D compositionnelles à partir d'une seule image. Contrairement aux méthodes existantes qui reposent sur des techniques de reconstruction ou de recherche, ou aux approches récentes qui utilisent la génération d'objets étape par étape, MIDI étend les modèles de génération d'objets 3D à partir d'images pré-entraînées à des modèles de diffusion multi-instance, permettant la génération simultanée de plusieurs instances 3D avec des relations spatiales précises et une grande capacité de généralisation. Au cœur de MIDI se trouve un mécanisme d'attention multi-instance novateur, qui capture efficacement les interactions entre objets et la cohérence spatiale directement dans le processus de génération, sans avoir besoin de processus complexes en plusieurs étapes. La méthode utilise des images d'objets partiels et le contexte global de la scène en tant qu'entrées, modélisant directement l'achèvement des objets pendant la génération 3D. Pendant l'entraînement, nous supervisons efficacement les interactions entre les instances 3D en utilisant une quantité limitée de données au niveau de la scène, tout en incorporant des données d'objets uniques pour la régularisation, maintenant ainsi la capacité de généralisation pré-entraînée. MIDI démontre des performances de pointe dans la génération d'images de scènes, validées par des évaluations sur des données synthétiques, des données de scènes du monde réel, et des images de scènes stylisées générées par des modèles de diffusion texte-vers-image.

English

This paper introduces MIDI, a novel paradigm for compositional 3D scene generation from a single image. Unlike existing methods that rely on reconstruction or retrieval techniques or recent approaches that employ multi-stage object-by-object generation, MIDI extends pre-trained image-to-3D object generation models to multi-instance diffusion models, enabling the simultaneous generation of multiple 3D instances with accurate spatial relationships and high generalizability. At its core, MIDI incorporates a novel multi-instance attention mechanism, that effectively captures inter-object interactions and spatial coherence directly within the generation process, without the need for complex multi-step processes. The method utilizes partial object images and global scene context as inputs, directly modeling object completion during 3D generation. During training, we effectively supervise the interactions between 3D instances using a limited amount of scene-level data, while incorporating single-object data for regularization, thereby maintaining the pre-trained generalization ability. MIDI demonstrates state-of-the-art performance in image-to-scene generation, validated through evaluations on synthetic data, real-world scene data, and stylized scene images generated by text-to-image diffusion models.