RobotArena infinito: Benchmarking Robot Scalabile tramite Traduzione Realtà-Simulazione

RobotArena infty: Scalable Robot Benchmarking via Real-to-Sim Translation

October 27, 2025

Autori: Yash Jangir, Yidi Zhang, Kashu Yamazaki, Chenyu Zhang, Kuan-Hsun Tu, Tsung-Wei Ke, Lei Ke, Yonatan Bisk, Katerina Fragkiadaki

cs.AI

Abstract

La ricerca di robot generalisti - agenti istruibili capaci di eseguire compiti diversificati in ambienti differenti - richiede una valutazione rigorosa e scalabile. Tuttavia, i test nel mondo reale delle policy robotiche rimangono fondamentalmente limitati: sono laboriosi, lenti, pericolosi su larga scala e difficili da riprodurre. I benchmark di simulazione esistenti sono similmente limitati, poiché addestrano e testano le policy all'interno degli stessi domini sintetici e non possono valutare modelli addestrati su dimostrazioni del mondo reale o ambienti simulativi alternativi. Man mano che le policy aumentano in portata e complessità, queste barriere si intensificano, poiché la definizione di "successo" in robotica spesso dipende da giudizi umani sfumati sulla qualità dell'esecuzione. In questo articolo, introduciamo un nuovo framework di benchmarking che supera queste sfide spostando la valutazione dei VLA (Vision-Language-Action) in ambienti simulati su larga scala potenziati con feedback umano in tempo reale. Sfruttando i progressi nei modelli visione-linguaggio, nella modellazione generativa 2D-3D e nel rendering differenziabile, il nostro approccio converte automaticamente dimostrazioni video da dataset robotici ampiamente utilizzati in controparti simulate. All'interno di questi gemelli digitali, valutiamo le policy VLA utilizzando sia sistemi di punteggio automatizzati guidati da VLM che giudizi di preferenza umana scalabili raccolti da lavoratori online, trasformando il coinvolgimento umano da noiosa configurazione scenica, reset e supervisione della sicurezza in leggeri confronti per preferenza. Per misurare la robustezza, perturbiamo sistematicamente gli ambienti simulati lungo molteplici assi, come texture e posizionamento degli oggetti, testando sotto stress la generalizzazione delle policy sotto variazione controllata. Il risultato è un benchmark in continua evoluzione, riproducibile e scalabile per policy di manipolazione robotica addestrate nel mondo reale, colmando una fondamentale lacuna capability nell'attuale panorama robotic

English

The pursuit of robot generalists - instructable agents capable of performing diverse tasks across diverse environments - demands rigorous and scalable evaluation. Yet real-world testing of robot policies remains fundamentally constrained: it is labor-intensive, slow, unsafe at scale, and difficult to reproduce. Existing simulation benchmarks are similarly limited, as they train and test policies within the same synthetic domains and cannot assess models trained from real-world demonstrations or alternative simulation environments. As policies expand in scope and complexity, these barriers only intensify, since defining "success" in robotics often hinges on nuanced human judgments of execution quality. In this paper, we introduce a new benchmarking framework that overcomes these challenges by shifting VLA evaluation into large-scale simulated environments augmented with online human feedback. Leveraging advances in vision-language models, 2D-to-3D generative modeling, and differentiable rendering, our approach automatically converts video demonstrations from widely used robot datasets into simulated counterparts. Within these digital twins, we assess VLA policies using both automated VLM-guided scoring and scalable human preference judgments collected from crowdworkers, transforming human involvement from tedious scene setup, resetting, and safety supervision into lightweight preference comparisons. To measure robustness, we systematically perturb simulated environments along multiple axes, such as textures and object placements, stress-testing policy generalization under controlled variation. The result is a continuously evolving, reproducible, and scalable benchmark for real-world trained robot manipulation policies, addressing a critical missing capability in today's robotics landscape.