SceneFrom3D: Generación de escenas 3D en exteriores condicionada por geometría mediante programación de vistas con control a nivel de objetos

Resumen

La generación de escenas 3D condicionadas por geometría permite crear entornos 3D a partir de geometrías proporcionadas por el usuario, ofreciendo un control directo sobre la estructura de la escena y la disposición de los objetos. Para generar dichas escenas 3D, los métodos actuales suelen adoptar un diseño de tres etapas: primero se define una programación de vistas, luego se sintetizan observaciones multivista a lo largo de las vistas programadas y, finalmente, se reconstruye una representación 3D a partir de las imágenes generadas. Sin embargo, definir la programación de vistas se convierte en un cuello de botella importante para escenas exteriores, donde la geometría grande, no estructurada y no acotada dificulta la obtención de vistas que proporcionen una cobertura suficiente y, al mismo tiempo, permitan una generación estable. Para abordar este cuello de botella, presentamos SceneFrom3D, un marco que programa automáticamente vistas a partir de geometrías de entrada de exteriores. SceneFrom3D construye un grafo de generación dirigido cuyos nodos representan vistas ancla y cuyas aristas representan trayectorias de interpolación, definiendo qué vistas sintetizar, qué pares de vistas interpolar y en qué orden debe proceder la generación. Más allá de la programación automática de vistas, SceneFrom3D mejora aún más la controlabilidad mediante el condicionamiento a nivel de objeto, asignando a cada objeto una imagen de identidad para guiar la apariencia y un parámetro de adherencia a la geometría para el control a nivel de región sobre la geometría de entrada. Los experimentos demuestran que SceneFrom3D logra una generación de escenas 3D exteriores condicionadas por geometría de última generación, produciendo escenas de alta calidad con apariencia de objetos controlable y adherencia a la geometría.

English

Geometry-conditioned 3D scene generation enables the creation of 3D environments from user-provided geometry, offering direct control over scene structure and object layout. To generate such 3D scenes, current methods commonly adopt a three-stage design that first defines a view schedule, then synthesizes multi-view observations along the scheduled views, and finally reconstructs a 3D representation from the generated images. However, defining the view schedule becomes a major bottleneck for outdoor scenes, where large, unstructured, and unbounded geometry makes it difficult to obtain views that provide sufficient coverage while supporting stable generation. To address this bottleneck, we present SceneFrom3D, a framework that automatically schedules views from outdoor input geometries. SceneFrom3D constructs a directed generation graph whose nodes represent anchor views and whose edges represent interpolation trajectories, defining which views to synthesize, which view pairs to interpolate, and in which order generation should proceed. Beyond automatic view scheduling, SceneFrom3D further improves controllability through object-level conditioning, assigning each object an identity image for appearance guidance and a geometry-adherence parameter for region-wise control over the input geometry. Experiments demonstrate that SceneFrom3D achieves state-of-the-art geometry-conditioned outdoor 3D scene generation, producing high-quality scenes with controllable object appearance and geometry adherence.