SceneFrom3D: Geometriekonditionierte Generierung von 3D-Außenszenen mittels Ansichtsplanung mit Steuerung auf Objektebene

Zusammenfassung

Geometrie-konditionierte 3D-Szenengenerierung ermöglicht die Erstellung von 3D-Umgebungen auf Basis benutzerdefinierter Geometrie und bietet direkte Kontrolle über die Szenenstruktur und das Objektlayout. Um solche 3D-Szenen zu erzeugen, verwenden aktuelle Methoden üblicherweise ein dreistufiges Design: Zunächst wird ein Ansichtsplan festgelegt, dann werden entlang der geplanten Ansichten Multiview-Beobachtungen synthetisiert und schließlich wird aus den generierten Bildern eine 3D-Repräsentation rekonstruiert. Die Festlegung des Ansichtsplans wird jedoch zu einem wesentlichen Engpass für Außenszenen, da große, unstrukturierte und unbegrenzte Geometrien es erschweren, Ansichten zu erhalten, die eine ausreichende Abdeckung bieten und gleichzeitig eine stabile Generierung unterstützen. Um diesen Engpass zu adressieren, präsentieren wir SceneFrom3D, ein Framework, das automatisch Ansichten aus Geometrien von Außenszenen plant. SceneFrom3D konstruiert einen gerichteten Generierungsgraphen, dessen Knoten Ankeransichten und dessen Kanten Interpolationstrajektorien darstellen, und legt fest, welche Ansichten synthetisiert, welche Ansichtspaare interpoliert und in welcher Reihenfolge die Generierung ablaufen soll. Über die automatische Ansichtsplanung hinaus verbessert SceneFrom3D die Kontrollierbarkeit durch objektbezogene Konditionierung, indem jedem Objekt ein Identitätsbild zur Erscheinungsführungsgabe und ein Geometrietreue-Parameter für die bereichsspezifische Kontrolle über die Eingabegeometrie zugewiesen wird. Experimente zeigen, dass SceneFrom3D den aktuellen Stand der Technik in der geometrie-konditionierten Generierung von 3D-Außenszenen erreicht und hochwertige Szenen mit kontrollierbarem Objekterscheinungsbild und Geometrietreue produziert.

English

Geometry-conditioned 3D scene generation enables the creation of 3D environments from user-provided geometry, offering direct control over scene structure and object layout. To generate such 3D scenes, current methods commonly adopt a three-stage design that first defines a view schedule, then synthesizes multi-view observations along the scheduled views, and finally reconstructs a 3D representation from the generated images. However, defining the view schedule becomes a major bottleneck for outdoor scenes, where large, unstructured, and unbounded geometry makes it difficult to obtain views that provide sufficient coverage while supporting stable generation. To address this bottleneck, we present SceneFrom3D, a framework that automatically schedules views from outdoor input geometries. SceneFrom3D constructs a directed generation graph whose nodes represent anchor views and whose edges represent interpolation trajectories, defining which views to synthesize, which view pairs to interpolate, and in which order generation should proceed. Beyond automatic view scheduling, SceneFrom3D further improves controllability through object-level conditioning, assigning each object an identity image for appearance guidance and a geometry-adherence parameter for region-wise control over the input geometry. Experiments demonstrate that SceneFrom3D achieves state-of-the-art geometry-conditioned outdoor 3D scene generation, producing high-quality scenes with controllable object appearance and geometry adherence.