SAGE: Skalierbare agentenbasierte 3D-Szenengenerierung für verkörpertes KI-Systeme
SAGE: Scalable Agentic 3D Scene Generation for Embodied AI
February 10, 2026
papers.authors: Hongchi Xia, Xuan Li, Zhaoshuo Li, Qianli Ma, Jiashu Xu, Ming-Yu Liu, Yin Cui, Tsung-Yi Lin, Wei-Chiu Ma, Shenlong Wang, Shuran Song, Fangyin Wei
cs.AI
papers.abstract
Die Datenerhebung in der realen Welt für verkörperte Agenten bleibt kostspielig und unsicher, was den Bedarf an skalierbaren, realistischen und simulationsfertigen 3D-Umgebungen unterstreicht. Bisherige Systeme zur Szenengenerierung basieren jedoch häufig auf regelbasierten oder aufgabenspezifischen Pipelines, was zu Artefakten und physikalisch ungültigen Szenen führt. Wir stellen SAGE vor, ein agentenbasiertes Framework, das – ausgehend von einer benutzerdefinierten verkörperten Aufgabe (z.B. "Hebe eine Schale auf und stelle sie auf den Tisch") – die Absicht versteht und automatisch skalierbare, simulationsfertige Umgebungen erzeugt. Der Agent kombiniert mehrere Generatoren für Layout und Objektzusammensetzung mit Kritikern, die semantische Plausibilität, visuelle Realitätstreue und physikalische Stabilität bewerten. Durch iteratives Reasoning und adaptive Werkzeugauswahl verfeinert er die Szenen selbstständig, bis Benutzerabsicht und physikalische Validität erfüllt sind. Die resultierenden Umgebungen sind realistisch, vielfältig und direkt in modernen Simulatoren für Policy-Training einsetzbar. Policies, die ausschließlich mit diesen Daten trainiert werden, zeigen klare Skalierungstendenzen und generalisieren auf ungesehene Objekte und Layouts, was das Potenzial simulationsgestützter Skalierung für verkörperte KI demonstriert. Code, Demos und der SAGE-10k-Datensatz sind auf der Projektseite verfügbar: https://nvlabs.github.io/sage.
English
Real-world data collection for embodied agents remains costly and unsafe, calling for scalable, realistic, and simulator-ready 3D environments. However, existing scene-generation systems often rely on rule-based or task-specific pipelines, yielding artifacts and physically invalid scenes. We present SAGE, an agentic framework that, given a user-specified embodied task (e.g., "pick up a bowl and place it on the table"), understands the intent and automatically generates simulation-ready environments at scale. The agent couples multiple generators for layout and object composition with critics that evaluate semantic plausibility, visual realism, and physical stability. Through iterative reasoning and adaptive tool selection, it self-refines the scenes until meeting user intent and physical validity. The resulting environments are realistic, diverse, and directly deployable in modern simulators for policy training. Policies trained purely on this data exhibit clear scaling trends and generalize to unseen objects and layouts, demonstrating the promise of simulation-driven scaling for embodied AI. Code, demos, and the SAGE-10k dataset can be found on the project page here: https://nvlabs.github.io/sage.