SceneFrom3D: 幾何条件付き屋外3Dシーン生成 - ビュースケジューリングとオブジェクトレベル制御による

要旨

幾何条件付き3Dシーン生成は、ユーザーが提供する幾何形状から3D環境を作成することを可能にし、シーン構造とオブジェクトレイアウトの直接制御を提供する。このような3Dシーンを生成するために、現在の手法は一般的に3段階の設計を採用している。まずビュースケジュールを定義し、次にスケジュールされたビューに沿って多視点観測を合成し、最後に生成された画像から3D表現を再構成する。しかし、屋外シーンではビュースケジュールの定義が大きなボトルネックとなる。屋外では大規模で非構造的かつ非有界な幾何形状により、十分なカバレッジを提供しつつ安定した生成を支援するビューを得ることが困難だからである。このボトルネックに対処するため、我々はSceneFrom3Dを提案する。これは、屋外の入力幾何形状から自動的にビューをスケジュールするフレームワークである。SceneFrom3Dは有向生成グラフを構築する。このグラフのノードはアンカービューを表し、エッジは補間軌跡を表す。これにより、どのビューを合成するか、どのビューペアを補間するか、そして生成をどの順序で進めるかを定義する。自動ビュースケジューリングに加えて、SceneFrom3Dはオブジェクトレベルの条件付けを通じて制御可能性をさらに向上させる。各オブジェクトに外観ガイダンスのためのアイデンティティ画像と、入力幾何形状に対する領域ごとの制御のための幾何形状追従パラメータを割り当てる。実験により、SceneFrom3Dが幾何条件付き屋外3Dシーン生成において最先端の成果を達成し、制御可能なオブジェクト外観と幾何形状追従を備えた高品質なシーンを生成することを示す。

English

Geometry-conditioned 3D scene generation enables the creation of 3D environments from user-provided geometry, offering direct control over scene structure and object layout. To generate such 3D scenes, current methods commonly adopt a three-stage design that first defines a view schedule, then synthesizes multi-view observations along the scheduled views, and finally reconstructs a 3D representation from the generated images. However, defining the view schedule becomes a major bottleneck for outdoor scenes, where large, unstructured, and unbounded geometry makes it difficult to obtain views that provide sufficient coverage while supporting stable generation. To address this bottleneck, we present SceneFrom3D, a framework that automatically schedules views from outdoor input geometries. SceneFrom3D constructs a directed generation graph whose nodes represent anchor views and whose edges represent interpolation trajectories, defining which views to synthesize, which view pairs to interpolate, and in which order generation should proceed. Beyond automatic view scheduling, SceneFrom3D further improves controllability through object-level conditioning, assigning each object an identity image for appearance guidance and a geometry-adherence parameter for region-wise control over the input geometry. Experiments demonstrate that SceneFrom3D achieves state-of-the-art geometry-conditioned outdoor 3D scene generation, producing high-quality scenes with controllable object appearance and geometry adherence.