DORSal : Diffusion pour les représentations centrées sur les objets de scènes et al.
DORSal: Diffusion for Object-centric Representations of Scenes et al.
June 13, 2023
Auteurs: Allan Jabri, Sjoerd van Steenkiste, Emiel Hoogeboom, Mehdi S. M. Sajjadi, Thomas Kipf
cs.AI
Résumé
Les récents progrès dans la compréhension des scènes 3D permettent un apprentissage évolutif de représentations à travers de vastes ensembles de données de scènes diverses. En conséquence, la généralisation à des scènes et objets inédits, le rendu de nouvelles vues à partir d'une seule ou d'une poignée d'images d'entrée, ainsi que la génération contrôlée de scènes supportant l'édition, sont désormais possibles. Cependant, l'entraînement conjoint sur un grand nombre de scènes compromet généralement la qualité du rendu par rapport à des modèles optimisés pour une seule scène, tels que les NeRFs. Dans cet article, nous exploitons les récents progrès des modèles de diffusion pour doter les modèles d'apprentissage de représentations de scènes 3D de la capacité à produire des rendus de nouvelles vues en haute fidélité, tout en conservant largement des avantages tels que l'édition de scènes au niveau des objets. En particulier, nous proposons DORSal, qui adapte une architecture de diffusion vidéo pour la génération de scènes 3D conditionnée par des représentations de scènes basées sur des slots centrés sur les objets. Sur des scènes synthétiques complexes à plusieurs objets ainsi que sur le jeu de données Street View à grande échelle du monde réel, nous montrons que DORSal permet un rendu neuronal évolutif de scènes 3D avec édition au niveau des objets et surpasse les approches existantes.
English
Recent progress in 3D scene understanding enables scalable learning of
representations across large datasets of diverse scenes. As a consequence,
generalization to unseen scenes and objects, rendering novel views from just a
single or a handful of input images, and controllable scene generation that
supports editing, is now possible. However, training jointly on a large number
of scenes typically compromises rendering quality when compared to single-scene
optimized models such as NeRFs. In this paper, we leverage recent progress in
diffusion models to equip 3D scene representation learning models with the
ability to render high-fidelity novel views, while retaining benefits such as
object-level scene editing to a large degree. In particular, we propose DORSal,
which adapts a video diffusion architecture for 3D scene generation conditioned
on object-centric slot-based representations of scenes. On both complex
synthetic multi-object scenes and on the real-world large-scale Street View
dataset, we show that DORSal enables scalable neural rendering of 3D scenes
with object-level editing and improves upon existing approaches.