MOVIS: Улучшение синтеза нового вида для нескольких объектов в помещениях

MOVIS: Enhancing Multi-Object Novel View Synthesis for Indoor Scenes

December 16, 2024

Авторы: Ruijie Lu, Yixin Chen, Junfeng Ni, Baoxiong Jia, Yu Liu, Diwen Wan, Gang Zeng, Siyuan Huang

cs.AI

Аннотация

Переиспользование предварительно обученных моделей диффузии доказало свою эффективность для NVS. Однако эти методы в основном ограничены одним объектом; применение таких методов напрямую к композиционным сценариям с несколькими объектами дает худшие результаты, особенно неправильное размещение объектов и несогласованную форму и внешний вид при новых видовых точках зрения. Как улучшить и систематически оценить согласованность между видами таких моделей остается недостаточно исследованным. Для решения этой проблемы мы предлагаем MOVIS для улучшения структурного осознания модели диффузии, зависящей от вида, для многокомпонентного NVS в терминах входных данных модели, вспомогательных задач и стратегии обучения. Во-первых, мы вводим структурно осознанные признаки, включая глубину и маску объекта, в денойзинг U-Net для улучшения понимания моделью экземпляров объектов и их пространственных отношений. Во-вторых, мы вводим вспомогательную задачу, требующую от модели одновременного предсказания масок объектов для новых видов, дополнительно улучшая способность модели различать и размещать объекты. Наконец, мы проводим глубокий анализ процесса диффузионного сэмплирования и тщательно разрабатываем расписание выборки по временным шагам, направленное на структуру, во время обучения, которое балансирует обучение глобального размещения объектов и восстановление деталей с тонкой детализацией. Для систематической оценки правдоподобности синтезированных изображений мы предлагаем оценивать согласованность между видами и размещение объектов для новых видов наряду с существующими метриками NVS на уровне изображения. Обширные эксперименты на сложных синтетических и реалистичных наборах данных демонстрируют, что наш метод обладает сильными обобщающими способностями и производит последовательный синтез новых видов, подчеркивая его потенциал для руководства будущими задачами NVS с учетом трехмерных объектов.

English

Repurposing pre-trained diffusion models has been proven to be effective for NVS. However, these methods are mostly limited to a single object; directly applying such methods to compositional multi-object scenarios yields inferior results, especially incorrect object placement and inconsistent shape and appearance under novel views. How to enhance and systematically evaluate the cross-view consistency of such models remains under-explored. To address this issue, we propose MOVIS to enhance the structural awareness of the view-conditioned diffusion model for multi-object NVS in terms of model inputs, auxiliary tasks, and training strategy. First, we inject structure-aware features, including depth and object mask, into the denoising U-Net to enhance the model's comprehension of object instances and their spatial relationships. Second, we introduce an auxiliary task requiring the model to simultaneously predict novel view object masks, further improving the model's capability in differentiating and placing objects. Finally, we conduct an in-depth analysis of the diffusion sampling process and carefully devise a structure-guided timestep sampling scheduler during training, which balances the learning of global object placement and fine-grained detail recovery. To systematically evaluate the plausibility of synthesized images, we propose to assess cross-view consistency and novel view object placement alongside existing image-level NVS metrics. Extensive experiments on challenging synthetic and realistic datasets demonstrate that our method exhibits strong generalization capabilities and produces consistent novel view synthesis, highlighting its potential to guide future 3D-aware multi-object NVS tasks.