RobotArena infty: Escalonamento de Benchmarking Robótico via Tradução Real-para-Sim

RobotArena infty: Scalable Robot Benchmarking via Real-to-Sim Translation

October 27, 2025

Autores: Yash Jangir, Yidi Zhang, Kashu Yamazaki, Chenyu Zhang, Kuan-Hsun Tu, Tsung-Wei Ke, Lei Ke, Yonatan Bisk, Katerina Fragkiadaki

cs.AI

Resumo

A busca por generalistas robóticos - agentes instrucionais capazes de executar tarefas diversas em ambientes diversos - exige uma avaliação rigorosa e escalável. No entanto, os testes no mundo real de políticas de robôs permanecem fundamentalmente limitados: são intensivos em mão de obra, lentos, inseguros em escala e difíceis de reproduzir. Os benchmarks de simulação existentes são igualmente limitados, pois treinam e testam políticas dentro dos mesmos domínios sintéticos e não conseguem avaliar modelos treinados a partir de demonstrações do mundo real ou de ambientes de simulação alternativos. À medida que as políticas se expandem em escopo e complexidade, essas barreiras apenas se intensificam, uma vez que a definição de "sucesso" na robótica frequentemente depende de julgamentos humanos sutis sobre a qualidade da execução. Neste artigo, introduzimos uma nova estrutura de benchmarking que supera esses desafios ao transferir a avaliação de VLAs (Visão-Linguagem-Ação) para ambientes simulados em larga escala, aprimorados com feedback humano online. Aproveitando os avanços em modelos de visão e linguagem, modelagem generativa 2D-para-3D e renderização diferenciável, nossa abordagem converte automaticamente demonstrações em vídeo de conjuntos de dados de robôs amplamente utilizados em contrapartes simuladas. Dentro desses *digital twins*, avaliamos as políticas de VLA usando tanto uma pontuação automatizada guiada por VLM quanto julgamentos de preferência humana escaláveis coletados de trabalhadores *crowdsourced*, transformando o envolvimento humano da tediosa configuração de cena, reinicialização e supervisão de segurança em comparações leves de preferência. Para medir a robustez, perturbamos sistematicamente os ambientes simulados ao longo de múltiplos eixos, como texturas e posicionamentos de objetos, testando sob estresse a generalização da política sob variação controlada. O resultado é um benchmark em constante evolução, reproduzível e escalável para políticas de manipulação robótica treinadas no mundo real, abordando uma capacidade crítica em falta no cenário atual da robótica.

English

The pursuit of robot generalists - instructable agents capable of performing diverse tasks across diverse environments - demands rigorous and scalable evaluation. Yet real-world testing of robot policies remains fundamentally constrained: it is labor-intensive, slow, unsafe at scale, and difficult to reproduce. Existing simulation benchmarks are similarly limited, as they train and test policies within the same synthetic domains and cannot assess models trained from real-world demonstrations or alternative simulation environments. As policies expand in scope and complexity, these barriers only intensify, since defining "success" in robotics often hinges on nuanced human judgments of execution quality. In this paper, we introduce a new benchmarking framework that overcomes these challenges by shifting VLA evaluation into large-scale simulated environments augmented with online human feedback. Leveraging advances in vision-language models, 2D-to-3D generative modeling, and differentiable rendering, our approach automatically converts video demonstrations from widely used robot datasets into simulated counterparts. Within these digital twins, we assess VLA policies using both automated VLM-guided scoring and scalable human preference judgments collected from crowdworkers, transforming human involvement from tedious scene setup, resetting, and safety supervision into lightweight preference comparisons. To measure robustness, we systematically perturb simulated environments along multiple axes, such as textures and object placements, stress-testing policy generalization under controlled variation. The result is a continuously evolving, reproducible, and scalable benchmark for real-world trained robot manipulation policies, addressing a critical missing capability in today's robotics landscape.