Ontwardigde 3D-scènegeneratie met lay-outleren

Disentangled 3D Scene Generation with Layout Learning

February 26, 2024

Auteurs: Dave Epstein, Ben Poole, Ben Mildenhall, Alexei A. Efros, Aleksander Holynski

cs.AI

Samenvatting

We introduceren een methode om 3D-scènes te genereren die ontrafeld zijn in hun samenstellende objecten. Deze ontrafeling gebeurt onbewust, waarbij alleen gebruik wordt gemaakt van de kennis van een groot vooraf getraind tekst-naar-beeldmodel. Onze belangrijkste inzicht is dat objecten kunnen worden ontdekt door delen van een 3D-scène te vinden die, wanneer ze ruimtelijk worden herschikt, nog steeds geldige configuraties van dezelfde scène opleveren. Concreet optimaliseert onze methode meerdere NeRF's gezamenlijk vanaf nul - elk vertegenwoordigt zijn eigen object - samen met een reeks lay-outs die deze objecten samenvoegen tot scènes. We stimuleren vervolgens dat deze samengestelde scènes binnen de distributie vallen volgens de beeldgenerator. We laten zien dat onze aanpak, ondanks zijn eenvoud, succesvol 3D-scènes genereert die zijn opgedeeld in individuele objecten, wat nieuwe mogelijkheden biedt in tekst-naar-3D-contentcreatie. Voor resultaten en een interactieve demo, zie onze projectpagina op https://dave.ml/layoutlearning/.

English

We introduce a method to generate 3D scenes that are disentangled into their component objects. This disentanglement is unsupervised, relying only on the knowledge of a large pretrained text-to-image model. Our key insight is that objects can be discovered by finding parts of a 3D scene that, when rearranged spatially, still produce valid configurations of the same scene. Concretely, our method jointly optimizes multiple NeRFs from scratch - each representing its own object - along with a set of layouts that composite these objects into scenes. We then encourage these composited scenes to be in-distribution according to the image generator. We show that despite its simplicity, our approach successfully generates 3D scenes decomposed into individual objects, enabling new capabilities in text-to-3D content creation. For results and an interactive demo, see our project page at https://dave.ml/layoutlearning/