DORSal: Diffusie voor Objectgecentreerde Representaties van Scènes et al.
DORSal: Diffusion for Object-centric Representations of Scenes et al.
June 13, 2023
Auteurs: Allan Jabri, Sjoerd van Steenkiste, Emiel Hoogeboom, Mehdi S. M. Sajjadi, Thomas Kipf
cs.AI
Samenvatting
Recente vooruitgang in 3D-scènebegrip maakt het mogelijk om representaties schaalbaar te leren over grote datasets van diverse scènes. Als gevolg hiervan is generalisatie naar onbekende scènes en objecten, het renderen van nieuwe aanzichten vanuit slechts één of een handvol invoerbeelden, en beheerbare scènegeneratie die bewerking ondersteunt, nu mogelijk. Het gezamenlijk trainen op een groot aantal scènes gaat echter meestal ten koste van de renderkwaliteit in vergelijking met modellen die zijn geoptimaliseerd voor één scène, zoals NeRFs. In dit artikel maken we gebruik van recente vooruitgang in diffusiemodellen om 3D-scène-representatieleermodellen uit te rusten met de mogelijkheid om hoogwaardige nieuwe aanzichten te renderen, terwijl voordelen zoals objectniveau scènebewerking grotendeels behouden blijven. In het bijzonder stellen we DORSal voor, dat een video-diffusiearchitectuur aanpast voor 3D-scènegeneratie, gebaseerd op objectgecentreerde slot-gebaseerde representaties van scènes. Op zowel complexe synthetische multi-objectscènes als op de grootschalige Street View-dataset uit de echte wereld, laten we zien dat DORSal schaalbare neurale rendering van 3D-scènes met objectniveau bewerking mogelijk maakt en bestaande benaderingen verbetert.
English
Recent progress in 3D scene understanding enables scalable learning of
representations across large datasets of diverse scenes. As a consequence,
generalization to unseen scenes and objects, rendering novel views from just a
single or a handful of input images, and controllable scene generation that
supports editing, is now possible. However, training jointly on a large number
of scenes typically compromises rendering quality when compared to single-scene
optimized models such as NeRFs. In this paper, we leverage recent progress in
diffusion models to equip 3D scene representation learning models with the
ability to render high-fidelity novel views, while retaining benefits such as
object-level scene editing to a large degree. In particular, we propose DORSal,
which adapts a video diffusion architecture for 3D scene generation conditioned
on object-centric slot-based representations of scenes. On both complex
synthetic multi-object scenes and on the real-world large-scale Street View
dataset, we show that DORSal enables scalable neural rendering of 3D scenes
with object-level editing and improves upon existing approaches.