EBench: Elementare Diagnose generalistischer mobiler Manipulations-Policies

Zusammenfassung

Wir präsentieren EBench, einen Simulationsbenchmark, der generalistische mobile Manipulationsstrategien über eine einzelne Erfolgsratenmetrik hinaus diagnostiziert. EBench umfasst 26 vielfältige und anspruchsvolle Manipulationsaufgaben, die entlang von 5 Fähigkeitsdimensionen und 4 Generalisierungsdimensionen annotiert sind. Wir evaluieren modernste generalistische Manipulationsmodelle, darunter π_0, π_{0,5}, XVLA und InternVLA-A1, und zeigen, dass Modelle mit ähnlichen Erfolgsraten bemerkenswert unterschiedliche Fähigkeitsprofile aufweisen: π_{0,5} erzielt die höchste Test-Erfolgsrate und die beste Train-Test-Retention, während InternVLA-A1 bei mobiler Manipulation dominiert, aber bei Geschicklichkeitsaufgaben zusammenbricht, und XVLA im Vergleich zu anderen Strategien Stärken in einer disjunkten Menge atomarer Fähigkeiten aufweist. Über die Profilierung von Fähigkeiten hinaus analysiert EBench die Generalisierungsfähigkeit aus 4 repräsentativen Perspektiven und identifiziert die Auswirkungen verschiedener Verteilungsverschiebungsfaktoren. Die Ergebnisse offenbaren Stärken und Schwächen von Modellen hinter einer Gesamtpunktzahl. Wir hoffen, dass dieser Benchmark eine breite Palette diagnostischer Signale bietet, um die Iteration generalistischer Manipulationsmodelle zu leiten.

English

We present EBench, a simulation benchmark that diagnoses generalist mobile manipulation policies beyond a single success-rate scalar. EBench comprises 26 diverse and challenging manipulation tasks annotated along 5 capability dimensions and 4 generalization dimensions. We evaluate state-of-the-art generalist manipulation models including π_0, π_{0.5}, XVLA, and InternVLA-A1, and reveal that models with near success rates exhibit strikingly different capability profiles: π_{0.5} achieves the highest test success rate and the best train--test retention, whereas InternVLA-A1 dominates mobile manipulation but collapses on dexterous tasks, and XVLA exhibits strengths on a disjoint set of atomic skills compared to other policies. Beyond capability profiling, EBench analyzes the generalization ability from 4 representative perspectives, identifying the impact of different distribution shift factors. The results reveal strengths and weaknesses of models behind an overall score. We hope this benchmark offers a broad set of diagnostic signals to guide iteration on generalist manipulation models.