EBench : Diagnostic élémentaire des politiques de manipulation mobile généralistes

Résumé

Nous présentons EBench, un benchmark de simulation permettant de diagnostiquer les politiques de manipulation mobile généralistes au-delà d’un simple scalaire de taux de succès. EBench comprend 26 tâches de manipulation diverses et difficiles, annotées selon 5 dimensions de capacité et 4 dimensions de généralisation. Nous évaluons des modèles de manipulation généralistes de pointe, notamment π_0, π_{0.5}, XVLA et InternVLA-A1, et révélons que des modèles présentant des taux de succès proches affichent des profils de capacité remarquablement distincts : π_{0.5} obtient le taux de succès test le plus élevé et la meilleure rétention entraînement-test, tandis qu’InternVLA-A1 domine en manipulation mobile mais s’effondre sur les tâches dextres, et XVLA montre des forces sur un ensemble disjoint de compétences atomiques par rapport aux autres politiques. Au-delà du profilage des capacités, EBench analyse la capacité de généralisation selon 4 perspectives représentatives, identifiant l’impact de différents facteurs de changement de distribution. Les résultats mettent en lumière les forces et faiblesses des modèles derrière un score global. Nous espérons que ce benchmark offrira un large ensemble de signaux diagnostiques pour guider l’itération sur les modèles de manipulation généralistes.

English

We present EBench, a simulation benchmark that diagnoses generalist mobile manipulation policies beyond a single success-rate scalar. EBench comprises 26 diverse and challenging manipulation tasks annotated along 5 capability dimensions and 4 generalization dimensions. We evaluate state-of-the-art generalist manipulation models including π_0, π_{0.5}, XVLA, and InternVLA-A1, and reveal that models with near success rates exhibit strikingly different capability profiles: π_{0.5} achieves the highest test success rate and the best train--test retention, whereas InternVLA-A1 dominates mobile manipulation but collapses on dexterous tasks, and XVLA exhibits strengths on a disjoint set of atomic skills compared to other policies. Beyond capability profiling, EBench analyzes the generalization ability from 4 representative perspectives, identifying the impact of different distribution shift factors. The results reveal strengths and weaknesses of models behind an overall score. We hope this benchmark offers a broad set of diagnostic signals to guide iteration on generalist manipulation models.