SAGE: Generación Escalable de Escenas 3D Agénticas para IA Corporeizada
SAGE: Scalable Agentic 3D Scene Generation for Embodied AI
February 10, 2026
Autores: Hongchi Xia, Xuan Li, Zhaoshuo Li, Qianli Ma, Jiashu Xu, Ming-Yu Liu, Yin Cui, Tsung-Yi Lin, Wei-Chiu Ma, Shenlong Wang, Shuran Song, Fangyin Wei
cs.AI
Resumen
La recolección de datos del mundo real para agentes corporizados sigue siendo costosa y peligrosa, lo que exige entornos 3D escalables, realistas y listos para simulación. Sin embargo, los sistemas de generación de escenas existentes a menudo dependen de pipelines basados en reglas o específicos de tareas, produciendo artefactos y escenas físicamente inválidas. Presentamos SAGE, un marco agéntico que, dada una tarea corporizada especificada por el usuario (por ejemplo, "recoger un bol y colocarlo en la mesa"), comprende la intención y genera automáticamente entornos listos para simulación a escala. El agente combina múltiples generadores para el diseño y la composición de objetos con críticos que evalúan la plausibilidad semántica, el realismo visual y la estabilidad física. Mediante un razonamiento iterativo y una selección adaptativa de herramientas, el sistema autorrefina las escenas hasta cumplir con la intención del usuario y la validez física. Los entornos resultantes son realistas, diversos y directamente implementables en simuladores modernos para el entrenamiento de políticas. Las políticas entrenadas únicamente con estos datos exhiben claras tendencias de escalado y se generalizan a objetos y diseños no vistos, demostrando la promesa del escalado impulsado por simulación para la IA corporizada. El código, las demos y el conjunto de datos SAGE-10k pueden encontrarse en la página del proyecto aquí: https://nvlabs.github.io/sage.
English
Real-world data collection for embodied agents remains costly and unsafe, calling for scalable, realistic, and simulator-ready 3D environments. However, existing scene-generation systems often rely on rule-based or task-specific pipelines, yielding artifacts and physically invalid scenes. We present SAGE, an agentic framework that, given a user-specified embodied task (e.g., "pick up a bowl and place it on the table"), understands the intent and automatically generates simulation-ready environments at scale. The agent couples multiple generators for layout and object composition with critics that evaluate semantic plausibility, visual realism, and physical stability. Through iterative reasoning and adaptive tool selection, it self-refines the scenes until meeting user intent and physical validity. The resulting environments are realistic, diverse, and directly deployable in modern simulators for policy training. Policies trained purely on this data exhibit clear scaling trends and generalize to unseen objects and layouts, demonstrating the promise of simulation-driven scaling for embodied AI. Code, demos, and the SAGE-10k dataset can be found on the project page here: https://nvlabs.github.io/sage.