SceneMosaic: ハイブリッドエージェント型レイアウト進化による効率的で多様なシミュレーション可能なシーン生成

要旨

多様でシミュレーション可能な屋内シーンは、インタラクティブエンターテインメントや身体性AIにとって不可欠であるが、そのスケーラブルな生成は依然として困難である。視覚言語モデル（VLM）に依存する最近のエージェント型テキストから3Dシーンへのパイプラインは、高忠実度のシーンを生成できるが、コストのかかる反復的な物体配置と改良を必要とする。もう一つの主流なパラダイムであるパラメトリックな画像から3Dシーンへのモデルは、2D画像から学習された強力な事前分布に基づいて効率的にシーンを生成するが、しばしば不正確で物理的に妥当でないシーンを生じさせる。さらに重要なことに、どちらのパラダイムも単一入力に対して多様なシーンを出力することが難しく、実世界のシーンの動的に変化する性質を反映することが困難である。本論文では、両パラダイムの利点を組み合わせたフレームワークであるSceneMosaicを提案する。SceneMosaicは、学習された画像ベースの事前分布から初期候補を取得し、その後VLMエージェントを通じて結果を進化させることで、効率性と物理的妥当性の両方を保証する。進化過程において、SceneMosaicは自然シーンの局所性を活用し、シーンを独立した局所ユニットに分解する。これにより、各ユニット内で個別に進化させた後、デカルト積によって全体シーンを構成できる。SceneEval-100において、SceneMosaicは意味レイアウト品質で最強のエージェント型ベースラインに匹敵しつつ24倍の高速化を達成し、物理的違反を大幅に削減し、最高の人間評価を得ている。コードはhttps://github.com/rxjfighting/SceneMosaicで公開されている。

English

Diverse and simulation-ready indoor scenes are essential for interactive entertainment and embodied AI, yet their scalable generation remains challenging. Recent agentic text-to-3D scene pipelines that rely on vision-language models (VLMs) can generate scenes of high fidelity but require costly iterative object placement and refinement. Another mainstream paradigm, parametric image-to-3D scene models, produces scenes efficiently from strong priors learned from 2D images but often leads to imprecise and physically invalid scenes. More importantly, both paradigms struggle to output diverse scenes for a single input, making it hard for them to reflect the dynamically changing nature of real scenes. In this paper we propose SceneMosaic, a framework that combines the merits of both paradigms. It obtains the initial candidate from the learned image-based prior, and subsequently evolves the result through VLM agents, ensuring both efficiency and physical validity. Within the evolution process, SceneMosaic exploits the locality of natural scenes and decomposes a scene into independent local units, allowing separate evolution within each unit before composing the global scene via Cartesian product. On SceneEval-100, SceneMosaic matches the strongest agentic baseline in semantic layout quality with a 24x speedup, substantially reduces physical violations, and receives the highest human ratings. Our code is publicly available at https://github.com/rxjfighting/SceneMosaic.