SAGE: 체화 AI를 위한 확장 가능한 에이전트 기반 3D 장면 생성

SAGE: Scalable Agentic 3D Scene Generation for Embodied AI

February 10, 2026

저자: Hongchi Xia, Xuan Li, Zhaoshuo Li, Qianli Ma, Jiashu Xu, Ming-Yu Liu, Yin Cui, Tsung-Yi Lin, Wei-Chiu Ma, Shenlong Wang, Shuran Song, Fangyin Wei

cs.AI

초록

실제 환경에서 구현 에이전트를 위한 데이터 수집은 여전히 비용이 많이 들고 안전하지 않아 확장 가능하고 현실적이며 시뮬레이터에서 바로 사용 가능한 3D 환경에 대한 필요성이 대두되고 있습니다. 그러나 기존의 장면 생성 시스템은 주로 규칙 기반이나 작업 특화 파이프라인에 의존하여 인공적痕迹과 물리적으로 부적합한 장면을 생성하는 경우가 많습니다. 본 논문에서는 사용자가 지정한 구현 작업(예: "그릇을 집어 테이블 위에 놓기")이 주어지면 의도를 이해하고 시뮬레이션 준비가 된 환경을 대규모로 자동 생성하는 에이전트 기반 프레임워크인 SAGE를 제안합니다. 이 에이전트는 레이아웃 및 객체 구성용 다중 생성기와 의미적 타당성, 시각적 현실성, 물리적 안정성을 평가하는 비평가를 결합합니다. 반복적 추론과 적응형 도구 선택을 통해 사용자 의도와 물리적 타당성을 충족할 때까지 장면을 자체 개선합니다. 결과적으로 생성된 환경은 현실적이고 다양하며 현대적 시뮬레이터에서 정책 훈련을 위해 직접 배포 가능합니다. 이 데이터로만 훈련된 정책은 뚜렷한 확장 경향성을 보이며 보지 않은 객체와 레이아웃으로도 일반화되어 구현 AI를 위한 시뮬레이션 기반 확장의 가능성을 입증합니다. 코드, 데모 및 SAGE-10k 데이터셋은 프로젝트 페이지(https://nvlabs.github.io/sage)에서 확인할 수 있습니다.

English

Real-world data collection for embodied agents remains costly and unsafe, calling for scalable, realistic, and simulator-ready 3D environments. However, existing scene-generation systems often rely on rule-based or task-specific pipelines, yielding artifacts and physically invalid scenes. We present SAGE, an agentic framework that, given a user-specified embodied task (e.g., "pick up a bowl and place it on the table"), understands the intent and automatically generates simulation-ready environments at scale. The agent couples multiple generators for layout and object composition with critics that evaluate semantic plausibility, visual realism, and physical stability. Through iterative reasoning and adaptive tool selection, it self-refines the scenes until meeting user intent and physical validity. The resulting environments are realistic, diverse, and directly deployable in modern simulators for policy training. Policies trained purely on this data exhibit clear scaling trends and generalize to unseen objects and layouts, demonstrating the promise of simulation-driven scaling for embodied AI. Code, demos, and the SAGE-10k dataset can be found on the project page here: https://nvlabs.github.io/sage.