RoboLab : Un banc d'essai de simulation haute fidélité pour l'analyse des politiques généralistes de tâches

Résumé

La recherche en robotique polyvalente a produit des modèles de fondation impressionnants, mais l'évaluation par simulation reste un goulot d'étranglement en raison d'une saturation rapide des performances et d'un manque de tests de généralisation authentiques. Les benchmarks existants présentent souvent un chevauchement domainal significatif entre l'entraînement et l'évaluation, banalisant les taux de succès et obscurcissant les insights sur la robustesse. Nous présentons RoboLab, un cadre d'évaluation par simulation conçu pour relever ces défis. Concrètement, notre cadre vise à répondre à deux questions : (1) dans quelle mesure pouvons-nous comprendre la performance d'une politique en monde réel en analysant son comportement en simulation, et (2) quels facteurs externes affectent le plus fortement ce comportement sous des perturbations contrôlées. Premièrement, RoboLab permet la génération manuelle ou assistée par LLM de scènes et de tâches de manière agnostique au robot et à la politique, au sein d'une simulation physiquement réaliste et photoréaliste. Ainsi, nous proposons le benchmark RoboLab-120, composé de 120 tâches catégorisées selon trois axes de compétence : compétence visuelle, procédurale et relationnelle, réparties sur trois niveaux de difficulté. Deuxièmement, nous introduisons une analyse systématique des politiques en monde réel qui quantifie à la fois leur performance et la sensibilité de leur comportement à des perturbations contrôlées, indiquant qu'une simulation haute-fidélité peut servir de proxy pour analyser la performance et sa dépendance aux facteurs externes. L'évaluation avec RoboLab révèle un écart de performance significatif dans les modèles actuels de pointe. En fournissant des métriques granulaires et une boîte à outils évolutive, RoboLab offre un cadre scalable pour évaluer les véritables capacités de généralisation des politiques robotiques généralistes.

English

The pursuit of general-purpose robotics has yielded impressive foundation models, yet simulation-based benchmarking remains a bottleneck due to rapid performance saturation and a lack of true generalization testing. Existing benchmarks often exhibit significant domain overlap between training and evaluation, trivializing success rates and obscuring insights into robustness. We introduce RoboLab, a simulation benchmarking framework designed to address these challenges. Concretely, our framework is designed to answer two questions: (1) to what extent can we understand the performance of a real-world policy by analyzing its behavior in simulation, and (2) which external factors most strongly affect that behavior under controlled perturbations. First, RoboLab enables human-authored and LLM-enabled generation of scenes and tasks in a robot- and policy-agnostic manner within a physically realistic and photorealistic simulation. With this, we propose the RoboLab-120 benchmark, consisting of 120 tasks categorized into three competency axes: visual, procedural, relational competency, across three difficulty levels. Second, we introduce a systematic analysis of real-world policies that quantify both their performance and the sensitivity of their behavior to controlled perturbations, indicating that high-fidelity simulation can serve as a proxy for analyzing performance and its dependence on external factors. Evaluation with RoboLab exposes significant performance gap in current state-of-the-art models. By providing granular metrics and a scalable toolset, RoboLab offers a scalable framework for evaluating the true generalization capabilities of task-generalist robotic policies.