SynCity: 3Dワールドのトレーニング不要生成

SynCity: Training-Free Generation of 3D Worlds

March 20, 2025

著者: Paul Engstler, Aleksandar Shtedritski, Iro Laina, Christian Rupprecht, Andrea Vedaldi

cs.AI

要旨

テキスト記述から3D世界を生成する課題に取り組みます。我々は、事前学習済み3D生成モデルの幾何学的精度と2D画像生成器の芸術的多様性を活用し、大規模で高品質な3D空間を創出する、トレーニングや最適化を必要としないアプローチ「SynCity」を提案します。ほとんどの3D生成モデルはオブジェクト中心であり、大規模な世界を生成できませんが、3Dと2D生成器を組み合わせることで、拡張可能なシーンを生成する方法を示します。タイルベースのアプローチにより、シーンのレイアウトと外観を細かく制御できます。世界はタイルごとに生成され、各新しいタイルはその世界コンテキスト内で生成された後、シーンに融合されます。SynCityは、詳細と多様性に富んだ魅力的で没入感のあるシーンを生成します。

English

We address the challenge of generating 3D worlds from textual descriptions. We propose SynCity, a training- and optimization-free approach, which leverages the geometric precision of pre-trained 3D generative models and the artistic versatility of 2D image generators to create large, high-quality 3D spaces. While most 3D generative models are object-centric and cannot generate large-scale worlds, we show how 3D and 2D generators can be combined to generate ever-expanding scenes. Through a tile-based approach, we allow fine-grained control over the layout and the appearance of scenes. The world is generated tile-by-tile, and each new tile is generated within its world-context and then fused with the scene. SynCity generates compelling and immersive scenes that are rich in detail and diversity.