Rapport technique de Qwen-RobotManip : l'alignement permet de passer à l'échelle des modèles de fondation de manipulation robotique

Résumé

Les modèles fondamentaux en langage et multimodalité parviennent à une forte généralisation en alignant des données hétérogènes sous une formulation unifiée et en les entraînant à grande échelle. Dans ce rapport, nous étudions si cette recette de passage à l’échelle peut être appliquée à la manipulation robotique pour obtenir une véritable généralisation. Cela est difficile car, contrairement au texte, les données de manipulation sont par nature hétérogènes, coûteuses à collecter et pauvres en diversité, ce qui rend l’alignement et le passage à l’échelle simultanément difficiles. Nous présentons Qwen-RobotManip, un modèle fondamental Vision-Langage-Action généralisable construit sur Qwen-VL. Qwen-RobotManip introduit un cadre d’alignement unifié couvrant les dimensions représentationnelle, motrice et comportementale de la manipulation, rendant cohérent (plutôt que contradictoire) l’entraînement multi-sources à grande échelle. Cette capacité d’alignement permet à son tour à Qwen-RobotManip d’absorber des données de manipulation à une échelle que les régimes d’entraînement antérieurs ne pouvaient soutenir. Un pipeline de synthèse humain-robot convertit des démonstrations manuelles égocentriques en trajectoires robotiques sur 15 plateformes, et un pipeline de curation rigoureux harmonise des ensembles de données hétérogènes. En utilisant uniquement des ensembles de données open-source et des vidéos humaines, sans collecte de données propriétaires, Qwen-RobotManip constitue un corpus de pré-entraînement d’environ 38 100 heures et manifeste des capacités de généralisation émergentes, notamment le suivi d’instructions en zéro coup (zero-shot), la robustesse aux perturbations, la récupération réactive d’erreurs et le transfert inter-embodiment. Nous constatons que les références (benchmarks) standard ne parviennent pas à capturer la qualité du pré-entraînement et adoptons donc des contextes de distribution hors norme (OOD) incluant RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF et RoboTwin-XE. Qwen-RobotManip surpasse nettement les modèles de l’état de l’art antérieurs, y compris π0.5, dans tous les contextes OOD, se classe 1er au RoboChallenge avec une amélioration relative de 20 %, et est validé sur des plateformes robotiques réelles incluant AgileX ALOHA, Franka, UR et ARX.

English

Foundation models in language and multimodality achieve strong generalization by aligning heterogeneous data under a unified formulation and training at scale. In this report, we investigate whether this scaling recipe can be applied to robotic manipulation to achieve genuine generalization. This is challenging because, unlike text, manipulation data is heterogeneous by nature, expensive to collect, and narrow in diversity, making alignment and scale simultaneously difficult. We present Qwen-RobotManip, a generalizable Vision-Language-Action foundation model built on Qwen-VL. Qwen-RobotManip introduces a unified alignment framework across the representation, motion, and behavioral dimensions of manipulation, making large-scale multi-source training coherent rather than conflicting. This alignment capability in turn enables Qwen-RobotManip to absorb manipulation data at a scale that prior training regimes could not sustain. A human-to-robot synthesis pipeline converts egocentric hand demonstrations into robot trajectories across 15 platforms, and a rigorous curation pipeline harmonizes heterogeneous datasets. Using only open-source datasets and human videos without proprietary data collection, Qwen-RobotManip constructs a ~38,100-hour pretraining corpus and exhibits emergent generalization capabilities, including zero-shot instruction following, robustness to perturbations, reactive error recovery, and cross-embodiment transfer. We find that standard benchmarks fail to capture pretraining quality and instead adopt OOD settings including RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF, and RoboTwin-XE. Qwen-RobotManip substantially outperforms prior state-of-the-art models, including π0.5, across all OOD settings, ranks 1st in RoboChallenge with a 20% relative improvement, and is validated on real-robot platforms including AgileX ALOHA, Franka, UR, and ARX.