RobotArena infty : Évaluation évolutive des robots par traduction réel-vers-sim

RobotArena infty: Scalable Robot Benchmarking via Real-to-Sim Translation

October 27, 2025

papers.authors: Yash Jangir, Yidi Zhang, Kashu Yamazaki, Chenyu Zhang, Kuan-Hsun Tu, Tsung-Wei Ke, Lei Ke, Yonatan Bisk, Katerina Fragkiadaki

cs.AI

papers.abstract

La quête de robots généralistes - des agents pilotables capables d'exécuter diverses tâches dans divers environnements - exige une évaluation rigoureuse et évolutive. Pourtant, les tests en conditions réelles des politiques robotiques restent fondamentalement limités : ils sont laborieux, lents, dangereux à grande échelle et difficiles à reproduire. Les bancs d'essai en simulation existants sont similairement limités, car ils entraînent et testent les politiques dans les mêmes domaines synthétiques et ne peuvent pas évaluer les modèles entraînés à partir de démonstrations du monde réel ou d'environnements de simulation alternatifs. Alors que les politiques gagnent en portée et en complexité, ces obstacles ne font que s'intensifier, puisque la définition du "succès" en robotique dépend souvent de jugements humains nuancés sur la qualité d'exécution. Dans cet article, nous présentons un nouveau cadre d'évaluation qui surmonte ces défis en déplaçant l'évaluation des VLA vers des environnements simulés à grande échelle augmentés par un retour humain en ligne. Tirant parti des progrès des modèles vision-langage, de la modélisation générative 2D-vers-3D et du rendu différenciable, notre approche convertit automatiquement les démonstrations vidéo de jeux de données robotiques largement utilisés en contreparties simulées. Au sein de ces jumeaux numériques, nous évaluons les politiques VLA en utilisant à la fois un score automatisé guidé par VLM et des jugements de préférence humaine évolutifs collectés auprès de travailleurs crowdsourcés, transformant l'implication humaine de la fastidieuse configuration de scènes, réinitialisation et supervision de sécurité en simples comparaisons de préférences. Pour mesurer la robustesse, nous perturbons systématiquement les environnements simulés selon plusieurs axes, tels que les textures et le placement des objets, testant ainsi la généralisation des politiques sous variation contrôlée. Le résultat est un banc d'essai évolutif, reproductible et en constante évolution pour les politiques de manipulation robotique entraînées en conditions réelles, répondant à une capacité manquante critique dans le paysage robotique actuel.

English

The pursuit of robot generalists - instructable agents capable of performing diverse tasks across diverse environments - demands rigorous and scalable evaluation. Yet real-world testing of robot policies remains fundamentally constrained: it is labor-intensive, slow, unsafe at scale, and difficult to reproduce. Existing simulation benchmarks are similarly limited, as they train and test policies within the same synthetic domains and cannot assess models trained from real-world demonstrations or alternative simulation environments. As policies expand in scope and complexity, these barriers only intensify, since defining "success" in robotics often hinges on nuanced human judgments of execution quality. In this paper, we introduce a new benchmarking framework that overcomes these challenges by shifting VLA evaluation into large-scale simulated environments augmented with online human feedback. Leveraging advances in vision-language models, 2D-to-3D generative modeling, and differentiable rendering, our approach automatically converts video demonstrations from widely used robot datasets into simulated counterparts. Within these digital twins, we assess VLA policies using both automated VLM-guided scoring and scalable human preference judgments collected from crowdworkers, transforming human involvement from tedious scene setup, resetting, and safety supervision into lightweight preference comparisons. To measure robustness, we systematically perturb simulated environments along multiple axes, such as textures and object placements, stress-testing policy generalization under controlled variation. The result is a continuously evolving, reproducible, and scalable benchmark for real-world trained robot manipulation policies, addressing a critical missing capability in today's robotics landscape.