RobotArena infinito: Evaluación Escalable de Robots mediante Traducción de Real a Sim

RobotArena infty: Scalable Robot Benchmarking via Real-to-Sim Translation

October 27, 2025

Autores: Yash Jangir, Yidi Zhang, Kashu Yamazaki, Chenyu Zhang, Kuan-Hsun Tu, Tsung-Wei Ke, Lei Ke, Yonatan Bisk, Katerina Fragkiadaki

cs.AI

Resumen

La búsqueda de generalistas robóticos - agentes instruíbles capaces de realizar diversas tareas en diversos entornos - exige una evaluación rigurosa y escalable. Sin embargo, las pruebas en el mundo real de las políticas de robots siguen estando fundamentalmente limitadas: son intensivas en mano de obra, lentas, inseguras a gran escala y difíciles de reproducir. Los puntos de referencia de simulación existentes están igualmente limitados, ya que entrenan y prueban políticas dentro de los mismos dominios sintéticos y no pueden evaluar modelos entrenados a partir de demostraciones del mundo real o entornos de simulación alternativos. A medida que las políticas se expanden en alcance y complejidad, estas barreras solo se intensifican, ya que definir el "éxito" en robótica a menudo depende de juicios humanos matizados sobre la calidad de la ejecución. En este artículo, presentamos un nuevo marco de evaluación que supera estos desafíos trasladando la evaluación de VLA a entornos simulados a gran escala aumentados con retroalimentación humana en línea. Aprovechando los avances en modelos de visión y lenguaje, el modelado generativo 2D a 3D y el renderizado diferenciable, nuestro enfoque convierte automáticamente las demostraciones en video de conjuntos de datos de robots ampliamente utilizados en contrapartes simuladas. Dentro de estos gemelos digitales, evaluamos las políticas de VLA utilizando tanto puntuación automatizada guiada por VLM como juicios de preferencia humana escalables recopilados de trabajadores crowdsourcing, transformando la participación humana de la tediosa configuración de escenas, reinicio y supervisión de seguridad en comparaciones de preferencia livianas. Para medir la robustez, perturbamos sistemáticamente los entornos simulados a lo largo de múltiples ejes, como texturas y ubicaciones de objetos, sometiendo a prueba de estrés la generalización de políticas bajo variación controlada. El resultado es un punto de referencia en continua evolución, reproducible y escalable para políticas de manipulación robótica entrenadas en el mundo real, abordando una capacidad crítica faltante en el panorama actual de la robótica.

English

The pursuit of robot generalists - instructable agents capable of performing diverse tasks across diverse environments - demands rigorous and scalable evaluation. Yet real-world testing of robot policies remains fundamentally constrained: it is labor-intensive, slow, unsafe at scale, and difficult to reproduce. Existing simulation benchmarks are similarly limited, as they train and test policies within the same synthetic domains and cannot assess models trained from real-world demonstrations or alternative simulation environments. As policies expand in scope and complexity, these barriers only intensify, since defining "success" in robotics often hinges on nuanced human judgments of execution quality. In this paper, we introduce a new benchmarking framework that overcomes these challenges by shifting VLA evaluation into large-scale simulated environments augmented with online human feedback. Leveraging advances in vision-language models, 2D-to-3D generative modeling, and differentiable rendering, our approach automatically converts video demonstrations from widely used robot datasets into simulated counterparts. Within these digital twins, we assess VLA policies using both automated VLM-guided scoring and scalable human preference judgments collected from crowdworkers, transforming human involvement from tedious scene setup, resetting, and safety supervision into lightweight preference comparisons. To measure robustness, we systematically perturb simulated environments along multiple axes, such as textures and object placements, stress-testing policy generalization under controlled variation. The result is a continuously evolving, reproducible, and scalable benchmark for real-world trained robot manipulation policies, addressing a critical missing capability in today's robotics landscape.