RoboChallenge : Évaluation à grande échelle de politiques incarnées sur robots réels
RoboChallenge: Large-scale Real-robot Evaluation of Embodied Policies
October 20, 2025
papers.authors: Adina Yakefu, Bin Xie, Chongyang Xu, Enwen Zhang, Erjin Zhou, Fan Jia, Haitao Yang, Haoqiang Fan, Haowei Zhang, Hongyang Peng, Jing Tan, Junwen Huang, Kai Liu, Kaixin Liu, Kefan Gu, Qinglun Zhang, Ruitao Zhang, Saike Huang, Shen Cheng, Shuaicheng Liu, Tiancai Wang, Tiezhen Wang, Wei Sun, Wenbin Tang, Yajun Wei, Yang Chen, Youqiang Gui, Yucheng Zhao, Yunchao Ma, Yunfei Wei, Yunhuan Yang, Yutong Guo, Ze Chen, Zhengyuan Du, Ziheng Zhang, Ziming Liu, Ziwei Yan
cs.AI
papers.abstract
Les tests sur des machines réelles sont indispensables pour les algorithmes de contrôle robotique. Dans le contexte des algorithmes d'apprentissage, en particulier des modèles VLA, la nécessité d'une évaluation à grande échelle - c'est-à-dire tester un grand nombre de modèles sur une multitude de tâches - devient de plus en plus pressante. Cependant, mener correctement cette évaluation s'avère particulièrement complexe, surtout lorsque l'évolutivité et la reproductibilité sont prises en compte. Dans ce rapport, nous décrivons notre méthodologie pour construire RoboChallenge, un système d'évaluation en ligne destiné à tester les algorithmes de contrôle robotique, ainsi que notre étude des modèles VLA récents les plus performants utilisant notre benchmark initial Table30.
English
Testing on real machines is indispensable for robotic control algorithms. In
the context of learning-based algorithms, especially VLA models, demand for
large-scale evaluation, i.e. testing a large number of models on a large number
of tasks, is becoming increasingly urgent. However, doing this right is highly
non-trivial, especially when scalability and reproducibility is taken into
account. In this report, we describe our methodology for constructing
RoboChallenge, an online evaluation system to test robotic control algorithms,
and our survey of recent state-of-the-art VLA models using our initial
benchmark Table30.