Qwen-RobotManip Technischer Bericht: Alignment ermöglicht Skalierung für Foundation Models der robotischen Manipulation

Zusammenfassung

Foundation-Modelle in Sprache und Multimodalität erzielen starke Generalisierung, indem heterogene Daten unter einer einheitlichen Formulierung ausgerichtet und in großem Maßstab trainiert werden. In diesem Bericht untersuchen wir, ob dieses Skalierungsrezept auf die robotische Manipulation angewendet werden kann, um echte Generalisierung zu erreichen. Dies ist herausfordernd, da Manipulationsdaten im Gegensatz zu Text von Natur aus heterogen, teuer zu erfassen und in ihrer Diversität eingeschränkt sind, was sowohl Ausrichtung als auch Skalierung gleichzeitig erschwert. Wir stellen Qwen-RobotManip vor, ein generalisierbares Vision-Language-Action-Foundation-Modell, das auf Qwen-VL aufbaut. Qwen-RobotManip führt ein einheitliches Ausrichtungsframework über die repräsentationalen, bewegungsbezogenen und verhaltensorientierten Dimensionen der Manipulation ein, wodurch groß angelegtes, multi-quellenbasiertes Training kohärent und nicht widersprüchlich wird. Diese Ausrichtungsfähigkeit wiederum ermöglicht es Qwen-RobotManip, Manipulationsdaten in einem Umfang aufzunehmen, den frühere Trainingsregime nicht aufrechterhalten konnten. Eine Mensch-zu-Roboter-Synthesepipeline wandelt egozentrische Handdemonstrationen in Robotertrajektorien über 15 Plattformen um, und eine strenge Kuratierungspipeline harmonisiert heterogene Datensätze. Unter ausschließlicher Verwendung von Open-Source-Datensätzen und menschlichen Videos ohne proprietäre Datenerfassung konstruiert Qwen-RobotManip ein ~38.100-stündiges Vortrainingskorpus und zeigt emergente Generalisierungsfähigkeiten, darunter Zero-Shot-Befehlsbefolgung, Robustheit gegenüber Störungen, reaktive Fehlerbehebung und Cross-Embodiment-Transfer. Wir stellen fest, dass Standard-Benchmarks die Vortrainingsqualität nicht erfassen, und verwenden stattdessen OOD-Einstellungen (Out-of-Distribution) wie RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF und RoboTwin-XE. Qwen-RobotManip übertrifft frühere State-of-the-Art-Modelle, einschließlich π0.5, in allen OOD-Einstellungen deutlich, belegt mit einer relativen Verbesserung von 20 % den ersten Platz bei RoboChallenge und wird auf realen Roboterplattformen wie AgileX ALOHA, Franka, UR und ARX validiert.

English

Foundation models in language and multimodality achieve strong generalization by aligning heterogeneous data under a unified formulation and training at scale. In this report, we investigate whether this scaling recipe can be applied to robotic manipulation to achieve genuine generalization. This is challenging because, unlike text, manipulation data is heterogeneous by nature, expensive to collect, and narrow in diversity, making alignment and scale simultaneously difficult. We present Qwen-RobotManip, a generalizable Vision-Language-Action foundation model built on Qwen-VL. Qwen-RobotManip introduces a unified alignment framework across the representation, motion, and behavioral dimensions of manipulation, making large-scale multi-source training coherent rather than conflicting. This alignment capability in turn enables Qwen-RobotManip to absorb manipulation data at a scale that prior training regimes could not sustain. A human-to-robot synthesis pipeline converts egocentric hand demonstrations into robot trajectories across 15 platforms, and a rigorous curation pipeline harmonizes heterogeneous datasets. Using only open-source datasets and human videos without proprietary data collection, Qwen-RobotManip constructs a ~38,100-hour pretraining corpus and exhibits emergent generalization capabilities, including zero-shot instruction following, robustness to perturbations, reactive error recovery, and cross-embodiment transfer. We find that standard benchmarks fail to capture pretraining quality and instead adopt OOD settings including RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF, and RoboTwin-XE. Qwen-RobotManip substantially outperforms prior state-of-the-art models, including π0.5, across all OOD settings, ranks 1st in RoboChallenge with a 20% relative improvement, and is validated on real-robot platforms including AgileX ALOHA, Franka, UR, and ARX.