RobotArena infty: Масштабируемое тестирование роботов через трансляцию реальности в симуляцию

RobotArena infty: Scalable Robot Benchmarking via Real-to-Sim Translation

October 27, 2025

Авторы: Yash Jangir, Yidi Zhang, Kashu Yamazaki, Chenyu Zhang, Kuan-Hsun Tu, Tsung-Wei Ke, Lei Ke, Yonatan Bisk, Katerina Fragkiadaki

cs.AI

Аннотация

Погоня за роботами-универсалами — управляемыми агентами, способными выполнять разнообразные задачи в различных средах, — требует строгой и масштабируемой оценки. Однако реальное тестирование политик роботов остается фундаментально ограниченным: оно трудоемко, медленно, небезопасно в больших масштабах и сложно для воспроизведения. Существующие симуляционные бенчмарки имеют схожие ограничения, поскольку они обучают и тестируют политики в одних и тех же синтетических доменах и не могут оценивать модели, обученные на реальных демонстрациях или в альтернативных симулированных средах. По мере расширения масштабов и сложности политик эти барьеры только усиливаются, поскольку определение «успеха» в робототехнике часто зависит от тонких человеческих суждений о качестве исполнения. В данной статье мы представляем новую систему бенчмаркинга, которая преодолевает эти проблемы, перенося оценку VLA в крупномасштабные симулированные среды, дополненные онлайн-обратной связью от человека. Используя достижения в области визуально-языковых моделей, генеративного моделирования 2D-3D и дифференцируемого рендеринга, наш подход автоматически преобразует видеодемонстрации из широко используемых наборов данных по робототехнике в их симулированные аналоги. Внутри этих цифровых двойников мы оцениваем политики VLA с помощью как автоматизированной оценки на основе VLM, так и масштабируемых суждений о человеческих предпочтениях, собранных от краудворкеров, превращая участие человека из утомительной настройки сцены, сброса и контроля безопасности в легковесные сравнения предпочтений. Для измерения устойчивости мы систематически возмущаем симулированные среды по нескольким осям, таким как текстуры и расположение объектов, стресс-тестируя обобщение политик в условиях контролируемых вариаций. В результате создается постоянно развивающийся, воспроизводимый и масштабируемый бенчмарк для политик манипулирования роботами, обученных в реальном мире, что восполняет критически важный пробел в современной робототехнике.

English

The pursuit of robot generalists - instructable agents capable of performing diverse tasks across diverse environments - demands rigorous and scalable evaluation. Yet real-world testing of robot policies remains fundamentally constrained: it is labor-intensive, slow, unsafe at scale, and difficult to reproduce. Existing simulation benchmarks are similarly limited, as they train and test policies within the same synthetic domains and cannot assess models trained from real-world demonstrations or alternative simulation environments. As policies expand in scope and complexity, these barriers only intensify, since defining "success" in robotics often hinges on nuanced human judgments of execution quality. In this paper, we introduce a new benchmarking framework that overcomes these challenges by shifting VLA evaluation into large-scale simulated environments augmented with online human feedback. Leveraging advances in vision-language models, 2D-to-3D generative modeling, and differentiable rendering, our approach automatically converts video demonstrations from widely used robot datasets into simulated counterparts. Within these digital twins, we assess VLA policies using both automated VLM-guided scoring and scalable human preference judgments collected from crowdworkers, transforming human involvement from tedious scene setup, resetting, and safety supervision into lightweight preference comparisons. To measure robustness, we systematically perturb simulated environments along multiple axes, such as textures and object placements, stress-testing policy generalization under controlled variation. The result is a continuously evolving, reproducible, and scalable benchmark for real-world trained robot manipulation policies, addressing a critical missing capability in today's robotics landscape.