MIDI: Многократное распространение экземпляров для генерации трехмерной сцены из одного изображения

MIDI: Multi-Instance Diffusion for Single Image to 3D Scene Generation

December 4, 2024

Авторы: Zehuan Huang, Yuan-Chen Guo, Xingqiao An, Yunhan Yang, Yangguang Li, Zi-Xin Zou, Ding Liang, Xihui Liu, Yan-Pei Cao, Lu Sheng

cs.AI

Аннотация

Эта статья представляет MIDI, новую парадигму для композиционной генерации трехмерных сцен из одного изображения. В отличие от существующих методов, которые полагаются на техники реконструкции или извлечения, или недавних подходов, использующих многоэтапную генерацию объект-за-объектом, MIDI расширяет предварительно обученные модели генерации изображения в трехмерный объект до моделей диффузии с множественными экземплярами, обеспечивая одновременную генерацию нескольких трехмерных экземпляров с точными пространственными отношениями и высокой обобщаемостью. В центре MIDI лежит новый механизм внимания с множественными экземплярами, который эффективно улавливает взаимодействия между объектами и пространственную согласованность непосредственно в процессе генерации, без необходимости в сложных многоэтапных процессах. Метод использует частичные изображения объектов и глобальный контекст сцены в качестве входных данных, напрямую моделируя завершение объекта во время генерации трехмерной модели. Во время обучения мы эффективно контролируем взаимодействия между трехмерными экземплярами, используя ограниченное количество данных на уровне сцены, в то время как включаем данные об отдельных объектах для регуляризации, тем самым сохраняя способность к обобщению предварительного обучения. MIDI демонстрирует передовую производительность в генерации изображения сцены, подтвержденную оценками на синтетических данных, данными реальных сцен и стилизованными изображениями сцен, сгенерированными моделями диффузии текста в изображение.

English

This paper introduces MIDI, a novel paradigm for compositional 3D scene generation from a single image. Unlike existing methods that rely on reconstruction or retrieval techniques or recent approaches that employ multi-stage object-by-object generation, MIDI extends pre-trained image-to-3D object generation models to multi-instance diffusion models, enabling the simultaneous generation of multiple 3D instances with accurate spatial relationships and high generalizability. At its core, MIDI incorporates a novel multi-instance attention mechanism, that effectively captures inter-object interactions and spatial coherence directly within the generation process, without the need for complex multi-step processes. The method utilizes partial object images and global scene context as inputs, directly modeling object completion during 3D generation. During training, we effectively supervise the interactions between 3D instances using a limited amount of scene-level data, while incorporating single-object data for regularization, thereby maintaining the pre-trained generalization ability. MIDI demonstrates state-of-the-art performance in image-to-scene generation, validated through evaluations on synthetic data, real-world scene data, and stylized scene images generated by text-to-image diffusion models.