SimFoundry: Geração Modular e Automatizada de Cenas para Aprendizado e Avaliação de Políticas

Resumo

Treinar e avaliar políticas de robôs no mundo real é caro e difícil de escalar. Apresentamos o SimFoundry, um sistema modular e automatizado para construção zero-shot de cenários do real para a simulação a partir de um vídeo. O SimFoundry gera gêmeos digitais prontos para simulação e oferece suporte à edição de objetos, cenários e tarefas, permitindo a geração automatizada de diversos primos digitais: variações que preservam a affordance de cenários do mundo real reconstruídos. Políticas treinadas com dados do SimFoundry transferem-se zero-shot para tarefas reais desafiadoras que envolvem manipulação em múltiplas etapas, interação com objetos articulados e interação bimanual, e seus primos digitais (variações do cenário, objetos e tarefas originais) facilitam a generalização para novas condições do mundo real. Em 7 tarefas de manipulação e 5 arquiteturas de política, as avaliações de simulação do SimFoundry preveem fortemente o desempenho no mundo real, com correlação média de Pearson de 0,911 e violação média máxima de classificação de 0,018. Ao avaliar políticas treinadas em simulação zero-shot no mundo real, políticas treinadas com primos de objetos, cenários e tarefas em simulação apresentam melhorias médias na taxa de sucesso das tarefas de 17%, 21% e 40%, respectivamente. Detalhes adicionais em https://research.nvidia.com/labs/gear/simfoundry/.

English

Training and evaluating robot policies in the real world is costly and difficult to scale. We introduce SimFoundry, a modular and automated system for zero-shot real-to-sim scene construction from a video. SimFoundry generates sim-ready digital twins and supports object, scene, and task editing, enabling the automated generation of diverse digital cousins: affordance-preserving variations of reconstructed real-world scenes. Policies trained on SimFoundry data transfer zero-shot to challenging real tasks involving multi-step manipulation, articulated object interaction, and bimanual interaction, and its digital cousins (variations of the original scene, objects, and tasks) facilitate generalization to new real-world conditions. Across 7 manipulation tasks and 5 policy architectures, SimFoundry simulation evaluations strongly predict real-world performance, with mean Pearson correlation 0.911 and mean maximum ranking violation 0.018. When evaluating sim-trained policies zero-shot in the real world, policies trained with object, scene, and task cousins in simulation show average task success rate improvements of 17%, 21%, and 40%, respectively. Additional details at https://research.nvidia.com/labs/gear/simfoundry/ .