RoboLab: Een hoogwaardige simulatiebenchmark voor de analyse van taakgeneralistische beleidsregels
RoboLab: A High-Fidelity Simulation Benchmark for Analysis of Task Generalist Policies
April 14, 2026
Auteurs: Xuning Yang, Rishit Dagli, Alex Zook, Hugo Hadfield, Ankit Goyal, Stan Birchfield, Fabio Ramos, Jonathan Tremblay
cs.AI
Samenvatting
De zoektocht naar algemeen inzetbare robotica heeft indrukwekkende foundation-modellen opgeleverd, maar op simulatie gebaseerde benchmarking blijft een knelpunt door snelle prestatieverzadiging en een gebrek aan echte generalisatietests. Bestaande benchmarks vertonen vaak een aanzienlijke domeinoverlap tussen training en evaluatie, wat succespercentages trivialiseert en inzicht in robuustheid verhult. Wij introduceren RoboLab, een simulatiebenchmarkingframework ontworpen om deze uitdagingen aan te pakken. Concreet is ons framework ontworpen om twee vragen te beantwoorden: (1) in hoeverre kunnen we de prestaties van een real-world policy begrijpen door het gedrag ervan in simulatie te analyseren, en (2) welke externe factoren dat gedrag het sterkst beïnvloeden onder gecontroleerde perturbaties. Ten eerste stelt RoboLab menselijk geschreven en door LLM gegenereerde creatie van scènes en taken mogelijk op een robot- en policy-agnostische manier binnen een fysisch realistische en fotorealistische simulatie. Hiermee stellen we de RoboLab-120 benchmark voor, bestaande uit 120 taken gecategoriseerd in drie competentie-assen: visuele, procedurele en relationele competentie, over drie moeilijkheidsniveaus. Ten tweede introduceren we een systematische analyse van real-world policies die zowel hun prestaties als de gevoeligheid van hun gedrag voor gecontroleerde perturbaties kwantificeert, wat aangeeft dat hoogwaardige simulatie kan dienen als proxy voor het analyseren van prestaties en hun afhankelijkheid van externe factoren. Evaluatie met RoboLab legt een significante prestatiekloof bloot in huidige state-of-the-art modellen. Door gedetailleerde metrieken en een schaalbaar toolset te bieden, biedt RoboLab een schaalbaar framework voor het evalueren van de ware generalisatiecapaciteiten van taakgeneralistische robotica-policies.
English
The pursuit of general-purpose robotics has yielded impressive foundation models, yet simulation-based benchmarking remains a bottleneck due to rapid performance saturation and a lack of true generalization testing. Existing benchmarks often exhibit significant domain overlap between training and evaluation, trivializing success rates and obscuring insights into robustness. We introduce RoboLab, a simulation benchmarking framework designed to address these challenges. Concretely, our framework is designed to answer two questions: (1) to what extent can we understand the performance of a real-world policy by analyzing its behavior in simulation, and (2) which external factors most strongly affect that behavior under controlled perturbations. First, RoboLab enables human-authored and LLM-enabled generation of scenes and tasks in a robot- and policy-agnostic manner within a physically realistic and photorealistic simulation. With this, we propose the RoboLab-120 benchmark, consisting of 120 tasks categorized into three competency axes: visual, procedural, relational competency, across three difficulty levels. Second, we introduce a systematic analysis of real-world policies that quantify both their performance and the sensitivity of their behavior to controlled perturbations, indicating that high-fidelity simulation can serve as a proxy for analyzing performance and its dependence on external factors. Evaluation with RoboLab exposes significant performance gap in current state-of-the-art models. By providing granular metrics and a scalable toolset, RoboLab offers a scalable framework for evaluating the true generalization capabilities of task-generalist robotic policies.