SimFoundry: 정책 학습 및 평가를 위한 모듈식 및 자동화된 장면 생성

초록

실제 환경에서 로봇 정책을 훈련하고 평가하는 것은 비용이 많이 들고 확장이 어렵습니다. 우리는 SimFoundry를 소개합니다. 이는 비디오로부터 제로샷 실물-시뮬레이션 장면 구축을 위한 모듈형 자동화 시스템입니다. SimFoundry는 시뮬레이션 준비가 완료된 디지털 트윈을 생성하며, 객체, 장면 및 작업 편집을 지원하여 다양한 디지털 커즌(복원된 실제 장면의 어포던스 보존 변형)의 자동 생성을 가능하게 합니다. SimFoundry 데이터로 훈련된 정책은 다단계 조작, 관절 객체 상호작용 및 양손 상호작용을 포함한 까다로운 실제 작업에 제로샷으로 전이되며, 디지털 커즌(원본 장면, 객체 및 작업의 변형)은 새로운 실제 조건으로의 일반화를 촉진합니다. 7가지 조작 작업과 5가지 정책 아키텍처에 걸쳐 SimFoundry 시뮬레이션 평가는 실제 성능을 강력하게 예측하며, 평균 피어슨 상관계수 0.911, 평균 최대 순위 위반 0.018을 기록했습니다. 시뮬레이션에서 훈련된 정책을 실제 환경에서 제로샷으로 평가했을 때, 객체, 장면 및 작업 커즌으로 훈련된 정책은 평균 작업 성공률이 각각 17%, 21%, 40% 향상되었습니다. 추가 세부 사항은 https://research.nvidia.com/labs/gear/simfoundry/ 에서 확인할 수 있습니다.

English

Training and evaluating robot policies in the real world is costly and difficult to scale. We introduce SimFoundry, a modular and automated system for zero-shot real-to-sim scene construction from a video. SimFoundry generates sim-ready digital twins and supports object, scene, and task editing, enabling the automated generation of diverse digital cousins: affordance-preserving variations of reconstructed real-world scenes. Policies trained on SimFoundry data transfer zero-shot to challenging real tasks involving multi-step manipulation, articulated object interaction, and bimanual interaction, and its digital cousins (variations of the original scene, objects, and tasks) facilitate generalization to new real-world conditions. Across 7 manipulation tasks and 5 policy architectures, SimFoundry simulation evaluations strongly predict real-world performance, with mean Pearson correlation 0.911 and mean maximum ranking violation 0.018. When evaluating sim-trained policies zero-shot in the real world, policies trained with object, scene, and task cousins in simulation show average task success rate improvements of 17%, 21%, and 40%, respectively. Additional details at https://research.nvidia.com/labs/gear/simfoundry/ .