DORSal: Диффузия для объектно-ориентированных представлений сцен и др.
DORSal: Diffusion for Object-centric Representations of Scenes et al.
June 13, 2023
Авторы: Allan Jabri, Sjoerd van Steenkiste, Emiel Hoogeboom, Mehdi S. M. Sajjadi, Thomas Kipf
cs.AI
Аннотация
Недавние достижения в области понимания 3D-сцен позволяют масштабируемое обучение представлений на больших наборах данных, содержащих разнообразные сцены. В результате стало возможным обобщение на невидимые сцены и объекты, рендеринг новых видов всего по одному или нескольким входным изображениям, а также управляемая генерация сцен, поддерживающая редактирование. Однако совместное обучение на большом количестве сцен обычно ухудшает качество рендеринга по сравнению с моделями, оптимизированными для отдельных сцен, такими как NeRF. В данной работе мы используем последние достижения в области диффузионных моделей, чтобы наделить модели обучения представлений 3D-сцен способностью рендерить высококачественные новые виды, сохраняя при этом такие преимущества, как редактирование сцен на уровне объектов. В частности, мы предлагаем DORSal, который адаптирует архитектуру диффузионной модели для видео к генерации 3D-сцен, основанной на объектно-ориентированных слотах представлений сцен. На сложных синтетических сценах с множеством объектов и на крупномасштабном наборе данных Street View из реального мира мы показываем, что DORSal обеспечивает масштабируемый нейронный рендеринг 3D-сцен с возможностью редактирования на уровне объектов и превосходит существующие подходы.
English
Recent progress in 3D scene understanding enables scalable learning of
representations across large datasets of diverse scenes. As a consequence,
generalization to unseen scenes and objects, rendering novel views from just a
single or a handful of input images, and controllable scene generation that
supports editing, is now possible. However, training jointly on a large number
of scenes typically compromises rendering quality when compared to single-scene
optimized models such as NeRFs. In this paper, we leverage recent progress in
diffusion models to equip 3D scene representation learning models with the
ability to render high-fidelity novel views, while retaining benefits such as
object-level scene editing to a large degree. In particular, we propose DORSal,
which adapts a video diffusion architecture for 3D scene generation conditioned
on object-centric slot-based representations of scenes. On both complex
synthetic multi-object scenes and on the real-world large-scale Street View
dataset, we show that DORSal enables scalable neural rendering of 3D scenes
with object-level editing and improves upon existing approaches.