MIDI: Multi-Instance Diffusie voor het Genereren van een 3D Scène vanuit een Enkele Afbeelding

MIDI: Multi-Instance Diffusion for Single Image to 3D Scene Generation

December 4, 2024

Auteurs: Zehuan Huang, Yuan-Chen Guo, Xingqiao An, Yunhan Yang, Yangguang Li, Zi-Xin Zou, Ding Liang, Xihui Liu, Yan-Pei Cao, Lu Sheng

cs.AI

Samenvatting

Dit artikel introduceert MIDI, een nieuw paradigma voor het genereren van compositorische 3D-scènes uit een enkele afbeelding. In tegenstelling tot bestaande methoden die vertrouwen op reconstructie- of ophaaltechnieken of recente benaderingen die gebruikmaken van meertraps object-voor-object generatie, breidt MIDI vooraf getrainde modellen voor het genereren van afbeeldingen naar 3D-objecten uit naar multi-instance diffusiemodellen, waardoor het gelijktijdig genereren van meerdere 3D-instanties met nauwkeurige ruimtelijke relaties en hoge generaliseerbaarheid mogelijk is. In de kern bevat MIDI een nieuw mechanisme voor multi-instance aandacht, dat effectief inter-objectinteracties en ruimtelijke samenhang vastlegt binnen het generatieproces, zonder de noodzaak van complexe meerstapsprocessen. De methode maakt gebruik van gedeeltelijke objectafbeeldingen en globale scènecontext als invoer, waarbij objectvoltooiing rechtstreeks wordt gemodelleerd tijdens 3D-generatie. Tijdens training superviseren we effectief de interacties tussen 3D-instanties met een beperkte hoeveelheid scène-niveau gegevens, terwijl we enkelvoudige objectgegevens opnemen voor regulering, waardoor de vooraf getrainde generalisatiecapaciteit behouden blijft. MIDI toont state-of-the-art prestaties in het genereren van afbeeldingen naar scènes, gevalideerd door evaluaties op synthetische gegevens, gegevens van scènes in de echte wereld, en gestileerde scèneafbeeldingen gegenereerd door tekst-naar-afbeelding diffusiemodellen.

English

This paper introduces MIDI, a novel paradigm for compositional 3D scene generation from a single image. Unlike existing methods that rely on reconstruction or retrieval techniques or recent approaches that employ multi-stage object-by-object generation, MIDI extends pre-trained image-to-3D object generation models to multi-instance diffusion models, enabling the simultaneous generation of multiple 3D instances with accurate spatial relationships and high generalizability. At its core, MIDI incorporates a novel multi-instance attention mechanism, that effectively captures inter-object interactions and spatial coherence directly within the generation process, without the need for complex multi-step processes. The method utilizes partial object images and global scene context as inputs, directly modeling object completion during 3D generation. During training, we effectively supervise the interactions between 3D instances using a limited amount of scene-level data, while incorporating single-object data for regularization, thereby maintaining the pre-trained generalization ability. MIDI demonstrates state-of-the-art performance in image-to-scene generation, validated through evaluations on synthetic data, real-world scene data, and stylized scene images generated by text-to-image diffusion models.