로보챌린지: 구현된 정책의 대규모 실물 로봇 평가
RoboChallenge: Large-scale Real-robot Evaluation of Embodied Policies
October 20, 2025
저자: Adina Yakefu, Bin Xie, Chongyang Xu, Enwen Zhang, Erjin Zhou, Fan Jia, Haitao Yang, Haoqiang Fan, Haowei Zhang, Hongyang Peng, Jing Tan, Junwen Huang, Kai Liu, Kaixin Liu, Kefan Gu, Qinglun Zhang, Ruitao Zhang, Saike Huang, Shen Cheng, Shuaicheng Liu, Tiancai Wang, Tiezhen Wang, Wei Sun, Wenbin Tang, Yajun Wei, Yang Chen, Youqiang Gui, Yucheng Zhao, Yunchao Ma, Yunfei Wei, Yunhuan Yang, Yutong Guo, Ze Chen, Zhengyuan Du, Ziheng Zhang, Ziming Liu, Ziwei Yan
cs.AI
초록
로봇 제어 알고리즘의 경우 실제 기기에서의 테스트는 필수적입니다. 학습 기반 알고리즘, 특히 VLA 모델의 맥락에서는 대규모 평가, 즉 다수의 작업에 대해 다수의 모델을 테스트해야 할 필요성이 점점 더 시급해지고 있습니다. 그러나 확장성과 재현성을 고려할 때 이를 올바르게 수행하는 것은 매우 어려운 과제입니다. 본 보고서에서는 로봇 제어 알고리즘을 테스트하기 위한 온라인 평가 시스템인 RoboChallenge 구축 방법론과 초기 벤치마크 Table30을 활용한 최신 VLA 모델 동향 조사 결과를 설명합니다.
English
Testing on real machines is indispensable for robotic control algorithms. In
the context of learning-based algorithms, especially VLA models, demand for
large-scale evaluation, i.e. testing a large number of models on a large number
of tasks, is becoming increasingly urgent. However, doing this right is highly
non-trivial, especially when scalability and reproducibility is taken into
account. In this report, we describe our methodology for constructing
RoboChallenge, an online evaluation system to test robotic control algorithms,
and our survey of recent state-of-the-art VLA models using our initial
benchmark Table30.