SAGE : Génération d'Agents Scalables pour des Scènes 3D destinées à l'IA Incarnée
SAGE: Scalable Agentic 3D Scene Generation for Embodied AI
February 10, 2026
papers.authors: Hongchi Xia, Xuan Li, Zhaoshuo Li, Qianli Ma, Jiashu Xu, Ming-Yu Liu, Yin Cui, Tsung-Yi Lin, Wei-Chiu Ma, Shenlong Wang, Shuran Song, Fangyin Wei
cs.AI
papers.abstract
La collecte de données en conditions réelles pour les agents incarnés reste coûteuse et dangereuse, ce qui nécessite des environnements 3D évolutifs, réalistes et compatibles avec les simulateurs. Cependant, les systèmes de génération de scènes existants reposent souvent sur des approches par règles ou des pipelines spécifiques à une tâche, produisant des artefacts et des scènes physiquement non valides. Nous présentons SAGE, un framework agentique qui, étant donné une tâche incarnée spécifiée par l'utilisateur (par exemple, "ramasser un bol et le poser sur la table"), comprend l'intention et génère automatiquement des environnements prêts pour la simulation à grande échelle. L'agent couple plusieurs générateurs pour la disposition et la composition d'objets avec des critiques évaluant la plausibilité sémantique, le réalisme visuel et la stabilité physique. Grâce à un raisonnement itératif et une sélection adaptative d'outils, il affine automatiquement les scènes jusqu'à satisfaire l'intention de l'utilisateur et la validité physique. Les environnements résultants sont réalistes, diversifiés et directement déployables dans les simulateurs modernes pour l'entraînement de politiques. Les politiques entraînées uniquement sur ces données présentent des tendances claires d'évolutivité et généralisent à des objets et dispositions non vus, démontrant le potentiel de la mise à l'échelle par simulation pour l'IA incarnée. Le code, les démonstrations et le jeu de données SAGE-10k sont disponibles sur la page du projet : https://nvlabs.github.io/sage.
English
Real-world data collection for embodied agents remains costly and unsafe, calling for scalable, realistic, and simulator-ready 3D environments. However, existing scene-generation systems often rely on rule-based or task-specific pipelines, yielding artifacts and physically invalid scenes. We present SAGE, an agentic framework that, given a user-specified embodied task (e.g., "pick up a bowl and place it on the table"), understands the intent and automatically generates simulation-ready environments at scale. The agent couples multiple generators for layout and object composition with critics that evaluate semantic plausibility, visual realism, and physical stability. Through iterative reasoning and adaptive tool selection, it self-refines the scenes until meeting user intent and physical validity. The resulting environments are realistic, diverse, and directly deployable in modern simulators for policy training. Policies trained purely on this data exhibit clear scaling trends and generalize to unseen objects and layouts, demonstrating the promise of simulation-driven scaling for embodied AI. Code, demos, and the SAGE-10k dataset can be found on the project page here: https://nvlabs.github.io/sage.