Entwirrte 3D-Szenengenerierung mit Layout-Lernen

Disentangled 3D Scene Generation with Layout Learning

February 26, 2024

Autoren: Dave Epstein, Ben Poole, Ben Mildenhall, Alexei A. Efros, Aleksander Holynski

cs.AI

Zusammenfassung

Wir stellen eine Methode vor, um 3D-Szenen zu erzeugen, die in ihre einzelnen Objekte zerlegt sind. Diese Zerlegung erfolgt unüberwacht und stützt sich ausschließlich auf das Wissen eines großen, vortrainierten Text-zu-Bild-Modells. Unsere zentrale Erkenntnis ist, dass Objekte entdeckt werden können, indem Teile einer 3D-Szene identifiziert werden, die bei räumlicher Neuanordnung weiterhin gültige Konfigurationen derselben Szene ergeben. Konkret optimiert unsere Methode mehrere NeRFs (Neural Radiance Fields) gleichzeitig von Grund auf – wobei jedes NeRF ein eigenes Objekt repräsentiert – zusammen mit einer Reihe von Layouts, die diese Objekte zu Szenen zusammensetzen. Wir fördern dann, dass diese zusammengesetzten Szenen gemäß dem Bildgenerator innerhalb der Verteilung liegen. Wir zeigen, dass unser Ansatz trotz seiner Einfachheit erfolgreich 3D-Szenen erzeugt, die in einzelne Objekte zerlegt sind, und damit neue Möglichkeiten in der Text-zu-3D-Inhaltserstellung ermöglicht. Für Ergebnisse und eine interaktive Demo besuchen Sie unsere Projektseite unter https://dave.ml/layoutlearning/.

English

We introduce a method to generate 3D scenes that are disentangled into their component objects. This disentanglement is unsupervised, relying only on the knowledge of a large pretrained text-to-image model. Our key insight is that objects can be discovered by finding parts of a 3D scene that, when rearranged spatially, still produce valid configurations of the same scene. Concretely, our method jointly optimizes multiple NeRFs from scratch - each representing its own object - along with a set of layouts that composite these objects into scenes. We then encourage these composited scenes to be in-distribution according to the image generator. We show that despite its simplicity, our approach successfully generates 3D scenes decomposed into individual objects, enabling new capabilities in text-to-3D content creation. For results and an interactive demo, see our project page at https://dave.ml/layoutlearning/