DORSal: Diffusion für objektzentrierte Repräsentationen von Szenen et al.
DORSal: Diffusion for Object-centric Representations of Scenes et al.
June 13, 2023
Autoren: Allan Jabri, Sjoerd van Steenkiste, Emiel Hoogeboom, Mehdi S. M. Sajjadi, Thomas Kipf
cs.AI
Zusammenfassung
Jüngste Fortschritte im Bereich des 3D-Szenenverständnisses ermöglichen das skalierbare Lernen von Repräsentationen über große Datensätze vielfältiger Szenen hinweg. Infolgedessen ist es nun möglich, eine Generalisierung auf unbekannte Szenen und Objekte zu erreichen, neue Ansichten aus nur einem oder einer Handvoll Eingabebildern zu rendern sowie eine kontrollierbare Szenengenerierung zu unterstützen, die Bearbeitungen ermöglicht. Allerdings führt das gemeinsame Training auf einer großen Anzahl von Szenen typischerweise zu einer Beeinträchtigung der Renderqualität im Vergleich zu Modellen, die für einzelne Szenen optimiert sind, wie beispielsweise NeRFs. In diesem Beitrag nutzen wir die jüngsten Fortschritte bei Diffusionsmodellen, um 3D-Szenenrepräsentationslernmodellen die Fähigkeit zu verleihen, hochauflösende neue Ansichten zu rendern, während gleichzeitig Vorteile wie die Bearbeitung von Szenen auf Objektebene weitgehend erhalten bleiben. Insbesondere schlagen wir DORSal vor, das eine Video-Diffusionsarchitektur für die 3D-Szenengenerierung anpasst, die auf objektzentrierten, slot-basierten Repräsentationen von Szenen basiert. Sowohl bei komplexen synthetischen Multi-Objektszenen als auch bei dem groß angelegten realen Street-View-Datensatz zeigen wir, dass DORSal das skalierbare neuronale Rendern von 3D-Szenen mit Objektebene-Bearbeitung ermöglicht und bestehende Ansätze verbessert.
English
Recent progress in 3D scene understanding enables scalable learning of
representations across large datasets of diverse scenes. As a consequence,
generalization to unseen scenes and objects, rendering novel views from just a
single or a handful of input images, and controllable scene generation that
supports editing, is now possible. However, training jointly on a large number
of scenes typically compromises rendering quality when compared to single-scene
optimized models such as NeRFs. In this paper, we leverage recent progress in
diffusion models to equip 3D scene representation learning models with the
ability to render high-fidelity novel views, while retaining benefits such as
object-level scene editing to a large degree. In particular, we propose DORSal,
which adapts a video diffusion architecture for 3D scene generation conditioned
on object-centric slot-based representations of scenes. On both complex
synthetic multi-object scenes and on the real-world large-scale Street View
dataset, we show that DORSal enables scalable neural rendering of 3D scenes
with object-level editing and improves upon existing approaches.