SceneFrom3D : génération de scènes 3D en extérieur conditionnée par la géométrie via l’ordonnancement de vues avec contrôle au niveau des objets.

Résumé

La génération de scènes 3D conditionnée par la géométrie permet de créer des environnements 3D à partir d'une géométrie fournie par l'utilisateur, offrant un contrôle direct sur la structure de la scène et la disposition des objets. Pour générer de telles scènes 3D, les méthodes actuelles adoptent généralement une conception en trois étapes : d'abord, définir un plan de vues, puis synthétiser des observations multi-vues le long des vues planifiées, et enfin reconstruire une représentation 3D à partir des images générées. Cependant, la définition du plan de vues devient un goulot d'étranglement majeur pour les scènes extérieures, où une géométrie vaste, non structurée et illimitée rend difficile l'obtention de vues offrant une couverture suffisante tout en soutenant une génération stable. Pour remédier à ce goulot d'étranglement, nous présentons SceneFrom3D, un framework qui planifie automatiquement les vues à partir de géométries d'entrée extérieures. SceneFrom3D construit un graphe de génération dirigé dont les nœuds représentent des vues d'ancrage et les arêtes des trajectoires d'interpolation, définissant quelles vues synthétiser, quelles paires de vues interpoler, et dans quel ordre la génération doit se dérouler. Au-delà de la planification automatique des vues, SceneFrom3D améliore encore la contrôlabilité via un conditionnement au niveau des objets, en attribuant à chaque objet une image d'identité pour guider l'apparence et un paramètre d'adhérence à la géométrie pour un contrôle régional sur la géométrie d'entrée. Les expériences montrent que SceneFrom3D atteint un état de l'art en matière de génération de scènes 3D extérieures conditionnée par la géométrie, produisant des scènes de haute qualité avec une apparence d'objet contrôlable et une adhérence à la géométrie.

English

Geometry-conditioned 3D scene generation enables the creation of 3D environments from user-provided geometry, offering direct control over scene structure and object layout. To generate such 3D scenes, current methods commonly adopt a three-stage design that first defines a view schedule, then synthesizes multi-view observations along the scheduled views, and finally reconstructs a 3D representation from the generated images. However, defining the view schedule becomes a major bottleneck for outdoor scenes, where large, unstructured, and unbounded geometry makes it difficult to obtain views that provide sufficient coverage while supporting stable generation. To address this bottleneck, we present SceneFrom3D, a framework that automatically schedules views from outdoor input geometries. SceneFrom3D constructs a directed generation graph whose nodes represent anchor views and whose edges represent interpolation trajectories, defining which views to synthesize, which view pairs to interpolate, and in which order generation should proceed. Beyond automatic view scheduling, SceneFrom3D further improves controllability through object-level conditioning, assigning each object an identity image for appearance guidance and a geometry-adherence parameter for region-wise control over the input geometry. Experiments demonstrate that SceneFrom3D achieves state-of-the-art geometry-conditioned outdoor 3D scene generation, producing high-quality scenes with controllable object appearance and geometry adherence.