SceneFrom3D: Geração de Cenas 3D Externas Condicionadas por Geometria via Agendamento de Visões com Controle ao Nível de Objeto

Resumo

A geração de cenas 3D condicionada por geometria possibilita a criação de ambientes tridimensionais a partir de geometrias fornecidas pelo usuário, oferecendo controle direto sobre a estrutura da cena e o layout dos objetos. Para gerar tais cenas 3D, os métodos atuais comumente adotam um design em três etapas: primeiro definem uma programação de vistas, depois sintetizam observações multivista ao longo das vistas programadas e, por fim, reconstroem uma representação 3D a partir das imagens geradas. No entanto, definir a programação de vistas torna-se um gargalo significativo para cenas externas, onde geometrias amplas, não estruturadas e ilimitadas dificultam a obtenção de vistas que ofereçam cobertura suficiente enquanto suportam uma geração estável. Para resolver esse gargalo, apresentamos o SceneFrom3D, uma estrutura que programa automaticamente vistas a partir de geometrias de entrada externas. O SceneFrom3D constrói um grafo direcionado de geração cujos nós representam vistas âncora e cujas arestas representam trajetórias de interpolação, definindo quais vistas sintetizar, quais pares de vistas interpolar e em qual ordem a geração deve prosseguir. Além da programação automática de vistas, o SceneFrom3D melhora ainda mais a controlabilidade por meio do condicionamento ao nível de objeto, atribuindo a cada objeto uma imagem de identidade para orientação de aparência e um parâmetro de aderência geométrica para controle regional sobre a geometria de entrada. Experimentos demonstram que o SceneFrom3D alcança o estado da arte em geração de cenas 3D externas condicionadas por geometria, produzindo cenas de alta qualidade com aparência de objetos e aderência geométrica controláveis.

English

Geometry-conditioned 3D scene generation enables the creation of 3D environments from user-provided geometry, offering direct control over scene structure and object layout. To generate such 3D scenes, current methods commonly adopt a three-stage design that first defines a view schedule, then synthesizes multi-view observations along the scheduled views, and finally reconstructs a 3D representation from the generated images. However, defining the view schedule becomes a major bottleneck for outdoor scenes, where large, unstructured, and unbounded geometry makes it difficult to obtain views that provide sufficient coverage while supporting stable generation. To address this bottleneck, we present SceneFrom3D, a framework that automatically schedules views from outdoor input geometries. SceneFrom3D constructs a directed generation graph whose nodes represent anchor views and whose edges represent interpolation trajectories, defining which views to synthesize, which view pairs to interpolate, and in which order generation should proceed. Beyond automatic view scheduling, SceneFrom3D further improves controllability through object-level conditioning, assigning each object an identity image for appearance guidance and a geometry-adherence parameter for region-wise control over the input geometry. Experiments demonstrate that SceneFrom3D achieves state-of-the-art geometry-conditioned outdoor 3D scene generation, producing high-quality scenes with controllable object appearance and geometry adherence.