SceneFrom3D: Геометрически обусловленная генерация наружных 3D-сцен посредством планирования видов с управлением на уровне объектов

Аннотация

Геометрически обусловленная генерация 3D-сцен позволяет создавать трехмерные окружения на основе предоставленной пользователем геометрии, обеспечивая прямой контроль над структурой сцены и расположением объектов. Для генерации таких 3D-сцен современные методы обычно используют трехэтапную схему: сначала определяется расписание ракурсов, затем синтезируются многовидовые наблюдения вдоль запланированных ракурсов, и наконец, из полученных изображений восстанавливается 3D-представление. Однако определение расписания ракурсов становится основным узким местом для наружных сцен, где большая, неструктурированная и неограниченная геометрия затрудняет получение ракурсов, обеспечивающих достаточное покрытие при поддержке стабильной генерации. Для решения этой проблемы мы представляем SceneFrom3D — фреймворк, который автоматически планирует ракурсы на основе входной геометрии наружных сцен. SceneFrom3D строит направленный граф генерации, узлы которого представляют опорные ракурсы, а ребра — траектории интерполяции, определяя, какие ракурсы синтезировать, какие пары ракурсов интерполировать и в каком порядке должна выполняться генерация. Помимо автоматического планирования ракурсов, SceneFrom3D дополнительно улучшает управляемость за счет объектно-уровневого кондиционирования, назначая каждому объекту идентификационное изображение для управления внешним видом и параметр соответствия геометрии для регионального контроля над входной геометрией. Эксперименты показывают, что SceneFrom3D достигает современного уровня в геометрически обусловленной генерации наружных 3D-сцен, создавая высококачественные сцены с управляемым внешним видом объектов и степенью соответствия геометрии.

English

Geometry-conditioned 3D scene generation enables the creation of 3D environments from user-provided geometry, offering direct control over scene structure and object layout. To generate such 3D scenes, current methods commonly adopt a three-stage design that first defines a view schedule, then synthesizes multi-view observations along the scheduled views, and finally reconstructs a 3D representation from the generated images. However, defining the view schedule becomes a major bottleneck for outdoor scenes, where large, unstructured, and unbounded geometry makes it difficult to obtain views that provide sufficient coverage while supporting stable generation. To address this bottleneck, we present SceneFrom3D, a framework that automatically schedules views from outdoor input geometries. SceneFrom3D constructs a directed generation graph whose nodes represent anchor views and whose edges represent interpolation trajectories, defining which views to synthesize, which view pairs to interpolate, and in which order generation should proceed. Beyond automatic view scheduling, SceneFrom3D further improves controllability through object-level conditioning, assigning each object an identity image for appearance guidance and a geometry-adherence parameter for region-wise control over the input geometry. Experiments demonstrate that SceneFrom3D achieves state-of-the-art geometry-conditioned outdoor 3D scene generation, producing high-quality scenes with controllable object appearance and geometry adherence.