Qwen-RobotManip Informe Técnico: La alineación desbloquea la escala para los modelos fundacionales de manipulación robótica

Resumen

Los modelos fundacionales en lenguaje y multimodalidad logran una fuerte generalización al alinear datos heterogéneos bajo una formulación unificada y entrenamiento a escala. En este informe, investigamos si esta receta de escalamiento puede aplicarse a la manipulación robótica para lograr una generalización genuina. Esto es un desafío porque, a diferencia del texto, los datos de manipulación son heterogéneos por naturaleza, costosos de recolectar y estrechos en diversidad, lo que dificulta simultáneamente la alineación y el escalamiento. Presentamos Qwen-RobotManip, un modelo fundacional generalizable de Visión-Lenguaje-Acción construido sobre Qwen-VL. Qwen-RobotManip introduce un marco de alineación unificado en las dimensiones de representación, movimiento y comportamiento de la manipulación, haciendo que el entrenamiento a gran escala con múltiples fuentes sea coherente en lugar de conflictivo. Esta capacidad de alineación, a su vez, permite que Qwen-RobotManip absorba datos de manipulación a una escala que los regímenes de entrenamiento previos no podían sostener. Un flujo de síntesis humano-robot convierte demostraciones de manos en primera persona en trayectorias robóticas a través de 15 plataformas, y un riguroso flujo de curación armoniza conjuntos de datos heterogéneos. Utilizando únicamente conjuntos de datos de código abierto y videos humanos sin recolección de datos propietarios, Qwen-RobotManip construye un corpus de preentrenamiento de aproximadamente 38.100 horas y exhibe capacidades de generalización emergentes, que incluyen seguimiento de instrucciones sin entrenamiento previo (zero-shot), robustez ante perturbaciones, recuperación reactiva de errores y transferencia entre cuerpos. Encontramos que los puntos de referencia estándar no logran capturar la calidad del preentrenamiento y, en su lugar, adoptamos configuraciones fuera de distribución (OOD) que incluyen RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF y RoboTwin-XE. Qwen-RobotManip supera sustancialmente a los modelos de vanguardia anteriores, incluido π0.5, en todas las configuraciones OOD, ocupa el primer lugar en RoboChallenge con una mejora relativa del 20%, y es validado en plataformas robóticas reales, incluyendo AgileX ALOHA, Franka, UR y ARX.

English

Foundation models in language and multimodality achieve strong generalization by aligning heterogeneous data under a unified formulation and training at scale. In this report, we investigate whether this scaling recipe can be applied to robotic manipulation to achieve genuine generalization. This is challenging because, unlike text, manipulation data is heterogeneous by nature, expensive to collect, and narrow in diversity, making alignment and scale simultaneously difficult. We present Qwen-RobotManip, a generalizable Vision-Language-Action foundation model built on Qwen-VL. Qwen-RobotManip introduces a unified alignment framework across the representation, motion, and behavioral dimensions of manipulation, making large-scale multi-source training coherent rather than conflicting. This alignment capability in turn enables Qwen-RobotManip to absorb manipulation data at a scale that prior training regimes could not sustain. A human-to-robot synthesis pipeline converts egocentric hand demonstrations into robot trajectories across 15 platforms, and a rigorous curation pipeline harmonizes heterogeneous datasets. Using only open-source datasets and human videos without proprietary data collection, Qwen-RobotManip constructs a ~38,100-hour pretraining corpus and exhibits emergent generalization capabilities, including zero-shot instruction following, robustness to perturbations, reactive error recovery, and cross-embodiment transfer. We find that standard benchmarks fail to capture pretraining quality and instead adopt OOD settings including RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF, and RoboTwin-XE. Qwen-RobotManip substantially outperforms prior state-of-the-art models, including π0.5, across all OOD settings, ranks 1st in RoboChallenge with a 20% relative improvement, and is validated on real-robot platforms including AgileX ALOHA, Franka, UR, and ARX.