I-Scene: 3Dインスタンスモデルは暗黙的な一般化可能空間学習器である

要旨

一般化は、インタラクティブな3Dシーン生成における中心的な課題であり続けている。既存の学習ベースのアプローチは、空間理解を限定的なシーンデータセットに基づいて行うため、新しいレイアウトへの一般化が制限されている。我々は代わりに、事前学習済みの3Dインスタンス生成器を再プログラミングし、シーンレベルの学習器として機能させることで、データセット依存の教師信号をモデル中心の空間的教師信号に置き換える。この再プログラミングにより、生成器の転移可能な空間知識が解放され、未見のレイアウトや新しいオブジェクト構成への一般化が可能となる。特筆すべきは、訓練シーンがランダムに構成されたオブジェクトであっても、空間推論が依然として出現することである。これは、生成器の転移可能なシーン事前分布が、純粋に幾何学的な手がかりから近接性、支持関係、対称性を推論するための豊かな学習信号を提供することを実証している。広く用いられている正規化空間に代わり、我々はシーン空間を視点中心の定式化で具現化し、インスタンスモデルから直接空間関係を学習する完全なフォワードパス型の一般化可能なシーン生成器を実現した。定量的および定性的な結果は、3Dインスタンス生成器が暗黙的な空間学習器かつ推論器であることを示しており、インタラクティブな3Dシーン理解と生成のための基盤モデルへの道筋を示している。プロジェクトページ: https://luling06.github.io/I-Scene-project/

English

Generalization remains the central challenge for interactive 3D scene generation. Existing learning-based approaches ground spatial understanding in limited scene dataset, restricting generalization to new layouts. We instead reprogram a pre-trained 3D instance generator to act as a scene level learner, replacing dataset-bounded supervision with model-centric spatial supervision. This reprogramming unlocks the generator transferable spatial knowledge, enabling generalization to unseen layouts and novel object compositions. Remarkably, spatial reasoning still emerges even when the training scenes are randomly composed objects. This demonstrates that the generator's transferable scene prior provides a rich learning signal for inferring proximity, support, and symmetry from purely geometric cues. Replacing widely used canonical space, we instantiate this insight with a view-centric formulation of the scene space, yielding a fully feed-forward, generalizable scene generator that learns spatial relations directly from the instance model. Quantitative and qualitative results show that a 3D instance generator is an implicit spatial learner and reasoner, pointing toward foundation models for interactive 3D scene understanding and generation. Project page: https://luling06.github.io/I-Scene-project/

I-Scene: 3Dインスタンスモデルは暗黙的な一般化可能空間学習器である

I-Scene: 3D Instance Models are Implicit Generalizable Spatial Learners

要旨

Support