Génération de scènes 3D désentrelacées avec apprentissage de la disposition

Disentangled 3D Scene Generation with Layout Learning

February 26, 2024

Auteurs: Dave Epstein, Ben Poole, Ben Mildenhall, Alexei A. Efros, Aleksander Holynski

cs.AI

Résumé

Nous présentons une méthode pour générer des scènes 3D qui sont décomposées en leurs objets constitutifs. Cette décomposition est non supervisée, s'appuyant uniquement sur les connaissances d'un grand modèle pré-entraîné de génération d'images à partir de texte. Notre idée clé est que les objets peuvent être découverts en identifiant des parties d'une scène 3D qui, lorsqu'elles sont réarrangées spatialement, produisent toujours des configurations valides de la même scène. Concrètement, notre méthode optimise conjointement plusieurs NeRFs à partir de zéro - chacun représentant son propre objet - ainsi qu'un ensemble de dispositions qui composent ces objets en scènes. Nous encourageons ensuite ces scènes composées à rester dans la distribution du générateur d'images. Nous montrons que malgré sa simplicité, notre approche génère avec succès des scènes 3D décomposées en objets individuels, ouvrant de nouvelles possibilités dans la création de contenu texte-à-3D. Pour les résultats et une démonstration interactive, consultez notre page de projet à l'adresse https://dave.ml/layoutlearning/.

English

We introduce a method to generate 3D scenes that are disentangled into their component objects. This disentanglement is unsupervised, relying only on the knowledge of a large pretrained text-to-image model. Our key insight is that objects can be discovered by finding parts of a 3D scene that, when rearranged spatially, still produce valid configurations of the same scene. Concretely, our method jointly optimizes multiple NeRFs from scratch - each representing its own object - along with a set of layouts that composite these objects into scenes. We then encourage these composited scenes to be in-distribution according to the image generator. We show that despite its simplicity, our approach successfully generates 3D scenes decomposed into individual objects, enabling new capabilities in text-to-3D content creation. For results and an interactive demo, see our project page at https://dave.ml/layoutlearning/