SAGE: 具身AIのためのスケーラブルなエージェント的3Dシーン生成

SAGE: Scalable Agentic 3D Scene Generation for Embodied AI

February 10, 2026

著者: Hongchi Xia, Xuan Li, Zhaoshuo Li, Qianli Ma, Jiashu Xu, Ming-Yu Liu, Yin Cui, Tsung-Yi Lin, Wei-Chiu Ma, Shenlong Wang, Shuran Song, Fangyin Wei

cs.AI

要旨

実世界での具身エージェントのためのデータ収集は、依然としてコストが高く安全性に課題があるため、スケーラブルで現実的、かつシミュレータ対応の3D環境の構築が求められている。しかし、既存のシーン生成システムはルールベースやタスク特化型のパイプラインに依存することが多く、不自然なアーティファクトや物理的に不正なシーンを生成しがちである。本論文ではSAGEを提案する。これはエージェント型フレームワークであり、ユーザーが指定した具身タスク（例：「ボウルを取ってテーブルの上に置く」）から意図を理解し、シミュレーション対応の環境を自動的かつ大規模に生成する。本エージェントは、レイアウトとオブジェクト配置のための複数の生成器を、意味的な妥当性、視覚的な現実感、物理的な安定性を評価する批評家と組み合わせる。反復的な推論と適応的なツール選択を通じて、ユーザーの意図と物理的な正当性が満たされるまでシーンを自己修正する。結果として得られる環境は現実的で多様性に富み、現代のシミュレータでポリシー訓練に直接展開可能である。このデータのみで訓練されたポリシーは、明確なスケーリングの傾向を示し、未見のオブジェクトやレイアウトへも一般化し、具身AIのためのシミュレーション駆動型スケーリングの可能性を実証する。コード、デモ、およびSAGE-10kデータセットはプロジェクトページ（https://nvlabs.github.io/sage ）で公開されている。

English

Real-world data collection for embodied agents remains costly and unsafe, calling for scalable, realistic, and simulator-ready 3D environments. However, existing scene-generation systems often rely on rule-based or task-specific pipelines, yielding artifacts and physically invalid scenes. We present SAGE, an agentic framework that, given a user-specified embodied task (e.g., "pick up a bowl and place it on the table"), understands the intent and automatically generates simulation-ready environments at scale. The agent couples multiple generators for layout and object composition with critics that evaluate semantic plausibility, visual realism, and physical stability. Through iterative reasoning and adaptive tool selection, it self-refines the scenes until meeting user intent and physical validity. The resulting environments are realistic, diverse, and directly deployable in modern simulators for policy training. Policies trained purely on this data exhibit clear scaling trends and generalize to unseen objects and layouts, demonstrating the promise of simulation-driven scaling for embodied AI. Code, demos, and the SAGE-10k dataset can be found on the project page here: https://nvlabs.github.io/sage.