SimFoundry: Модульная и автоматизированная генерация сцен для обучения и оценки политик

Аннотация

Обучение и оценка роботизированных политик в реальном мире дороги и трудно масштабируемы. Мы представляем SimFoundry — модульную и автоматизированную систему для однократного (zero-shot) построения сцен из реальности в симуляцию на основе видео. SimFoundry создает готовые к симуляции цифровые двойники и поддерживает редактирование объектов, сцен и задач, что позволяет автоматически генерировать разнообразные цифровые кузены: вариации реконструированных реальных сцен, сохраняющие их аффордансы. Политики, обученные на данных SimFoundry, без дополнительного обучения (zero-shot) переносятся на сложные реальные задачи, включающие многошаговые манипуляции, взаимодействие с сочлененными объектами и двуручное взаимодействие, а его цифровые кузены (вариации исходной сцены, объектов и задач) способствуют обобщению на новые реальные условия. В ходе оценки на 7 задачах манипуляции и 5 архитектурах политик симуляционные оценки SimFoundry сильно предсказывают реальную производительность: средняя корреляция Пирсона составляет 0,911, а среднее максимальное нарушение ранжирования — 0,018. При оценке симуляционно обученных политик в реальном мире в режиме zero-shot политики, обученные с использованием кузенов объектов, сцен и задач в симуляции, показывают среднее улучшение успешности выполнения задач на 17%, 21% и 40% соответственно. Дополнительная информация по адресу: https://research.nvidia.com/labs/gear/simfoundry/ .

English

Training and evaluating robot policies in the real world is costly and difficult to scale. We introduce SimFoundry, a modular and automated system for zero-shot real-to-sim scene construction from a video. SimFoundry generates sim-ready digital twins and supports object, scene, and task editing, enabling the automated generation of diverse digital cousins: affordance-preserving variations of reconstructed real-world scenes. Policies trained on SimFoundry data transfer zero-shot to challenging real tasks involving multi-step manipulation, articulated object interaction, and bimanual interaction, and its digital cousins (variations of the original scene, objects, and tasks) facilitate generalization to new real-world conditions. Across 7 manipulation tasks and 5 policy architectures, SimFoundry simulation evaluations strongly predict real-world performance, with mean Pearson correlation 0.911 and mean maximum ranking violation 0.018. When evaluating sim-trained policies zero-shot in the real world, policies trained with object, scene, and task cousins in simulation show average task success rate improvements of 17%, 21%, and 40%, respectively. Additional details at https://research.nvidia.com/labs/gear/simfoundry/ .