SceneFrom3D: Geometrie-geconditioneerde generatie van buiten 3D-scènes via zichtplanning met regeling op objectniveau

Samenvatting

Geometrie-geconditioneerde 3D-scènergeneratie maakt het mogelijk om 3D-omgevingen te creëren op basis van door de gebruiker aangeleverde geometrie, wat directe controle biedt over de scènestructuur en objectindeling. Om dergelijke 3D-scènes te genereren, hanteren huidige methoden doorgaans een ontwerp in drie fasen: eerst wordt een view-schema gedefinieerd, vervolgens worden multi-view observaties gesynthetiseerd langs de geplande views, en ten slotte wordt een 3D-representatie gereconstrueerd uit de gegenereerde afbeeldingen. Het definiëren van het view-schema wordt echter een belangrijk knelpunt voor buitenscènes, waar grote, ongestructureerde en onbegrensde geometrie het moeilijk maakt om views te verkrijgen die voldoende dekking bieden en tegelijkertijd stabiele generatie ondersteunen. Om dit knelpunt aan te pakken, presenteren we SceneFrom3D, een raamwerk dat automatisch views plant op basis van buitengeometrieën als invoer. SceneFrom3D construeert een gerichte generatiegraaf waarvan de knooppunten ankerviews voorstellen en de randen interpolatietrajecten voorstellen, en definieert welke views gesynthetiseerd moeten worden, welke viewparen geïnterpoleerd moeten worden en in welke volgorde de generatie moet verlopen. Naast automatische viewplanning verbetert SceneFrom3D de beheersbaarheid verder door objectniveauconditionering, waarbij elk object een identiteitsafbeelding krijgt voor uiterlijksturing en een geometrie-nalevingsparameter voor regiogebonden controle over de invoergeometrie. Experimenten tonen aan dat SceneFrom3D state-of-the-art geometrie-geconditioneerde buitenscènegeneratie realiseert, met hoogwaardige scènes die een beheersbaar objectuiterlijk en geometrienaleving bieden.

English

Geometry-conditioned 3D scene generation enables the creation of 3D environments from user-provided geometry, offering direct control over scene structure and object layout. To generate such 3D scenes, current methods commonly adopt a three-stage design that first defines a view schedule, then synthesizes multi-view observations along the scheduled views, and finally reconstructs a 3D representation from the generated images. However, defining the view schedule becomes a major bottleneck for outdoor scenes, where large, unstructured, and unbounded geometry makes it difficult to obtain views that provide sufficient coverage while supporting stable generation. To address this bottleneck, we present SceneFrom3D, a framework that automatically schedules views from outdoor input geometries. SceneFrom3D constructs a directed generation graph whose nodes represent anchor views and whose edges represent interpolation trajectories, defining which views to synthesize, which view pairs to interpolate, and in which order generation should proceed. Beyond automatic view scheduling, SceneFrom3D further improves controllability through object-level conditioning, assigning each object an identity image for appearance guidance and a geometry-adherence parameter for region-wise control over the input geometry. Experiments demonstrate that SceneFrom3D achieves state-of-the-art geometry-conditioned outdoor 3D scene generation, producing high-quality scenes with controllable object appearance and geometry adherence.