EBench: Diagnóstico Elemental de Políticas Generalistas de Manipulación Móvil

Resumen

Presentamos EBench, un banco de pruebas de simulación que diagnostica políticas generalistas de manipulación móvil más allá de una única métrica escalar de tasa de éxito. EBench comprende 26 tareas de manipulación diversas y desafiantes anotadas a lo largo de 5 dimensiones de capacidad y 4 dimensiones de generalización. Evaluamos modelos punteros de manipulación generalista, incluidos π_0, π_{0.5}, XVLA e InternVLA-A1, y revelamos que modelos con tasas de éxito similares presentan perfiles de capacidad notablemente diferentes: π_{0.5} alcanza la mayor tasa de éxito en prueba y la mejor retención entrenamiento-prueba, mientras que InternVLA-A1 domina en manipulación móvil pero fracasa en tareas de destreza, y XVLA muestra fortalezas en un conjunto disjunto de habilidades atómicas en comparación con las otras políticas. Más allá del perfilado de capacidades, EBench analiza la capacidad de generalización desde 4 perspectivas representativas, identificando el impacto de distintos factores de cambio de distribución. Los resultados revelan fortalezas y debilidades de los modelos ocultas tras una puntuación general. Esperamos que este banco de pruebas ofrezca un amplio conjunto de señales diagnósticas para guiar la iteración en modelos de manipulación generalista.

English

We present EBench, a simulation benchmark that diagnoses generalist mobile manipulation policies beyond a single success-rate scalar. EBench comprises 26 diverse and challenging manipulation tasks annotated along 5 capability dimensions and 4 generalization dimensions. We evaluate state-of-the-art generalist manipulation models including π_0, π_{0.5}, XVLA, and InternVLA-A1, and reveal that models with near success rates exhibit strikingly different capability profiles: π_{0.5} achieves the highest test success rate and the best train--test retention, whereas InternVLA-A1 dominates mobile manipulation but collapses on dexterous tasks, and XVLA exhibits strengths on a disjoint set of atomic skills compared to other policies. Beyond capability profiling, EBench analyzes the generalization ability from 4 representative perspectives, identifying the impact of different distribution shift factors. The results reveal strengths and weaknesses of models behind an overall score. We hope this benchmark offers a broad set of diagnostic signals to guide iteration on generalist manipulation models.