Qwen-RobotManip Технический отчет: Согласование открывает масштаб для фундаментальных моделей роботизированного манипулирования

Аннотация

Фундаментальные модели в области языка и мультимодальности достигают высокой обобщающей способности за счёт выравнивания разнородных данных в рамках единой формулировки и обучения в масштабе. В данном отчёте мы исследуем, можно ли применить этот подход масштабирования к роботизированным манипуляциям для достижения подлинного обобщения. Это сложная задача, поскольку, в отличие от текста, данные манипуляций по своей природе неоднородны, дороги в сборе и узки по разнообразию, что одновременно затрудняет и выравнивание, и масштабирование. Мы представляем Qwen-RobotManip — обобщающую фундаментальную модель типа «видение-язык-действие», построенную на основе Qwen-VL. Qwen-RobotManip вводит единую структуру выравнивания по трём измерениям манипуляций: представлению, движению и поведению, что делает крупномасштабное обучение на нескольких источниках данных согласованным, а не конфликтующим. Эта способность к выравниванию, в свою очередь, позволяет Qwen-RobotManip поглощать данные манипуляций в масштабе, который предыдущие режимы обучения не могли поддерживать. Конвейер синтеза от человека к роботу преобразует эгоцентрические демонстрации рук в траектории робота для 15 платформ, а строгий конвейер курирования гармонизирует разнородные наборы данных. Используя только открытые наборы данных и видео с участием человека (без сбора собственных данных), Qwen-RobotManip формирует предобучающий корпус объёмом ~38 100 часов и демонстрирует возникающие обобщающие способности, включая выполнение инструкций без обучения (zero-shot), устойчивость к возмущениям, реактивное восстановление после ошибок и перенос между различными воплощениями (cross-embodiment). Мы обнаружили, что стандартные бенчмарки не позволяют оценить качество предобучения, и вместо этого используем условия вне распределения (OOD), включая RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF и RoboTwin-XE. Qwen-RobotManip существенно превосходит предыдущие модели уровня state-of-the-art, включая π0.5, во всех OOD-условиях, занимает 1-е место в RoboChallenge с относительным улучшением на 20% и проходит валидацию на реальных роботизированных платформах, включая AgileX ALOHA, Franka, UR и ARX.

English

Foundation models in language and multimodality achieve strong generalization by aligning heterogeneous data under a unified formulation and training at scale. In this report, we investigate whether this scaling recipe can be applied to robotic manipulation to achieve genuine generalization. This is challenging because, unlike text, manipulation data is heterogeneous by nature, expensive to collect, and narrow in diversity, making alignment and scale simultaneously difficult. We present Qwen-RobotManip, a generalizable Vision-Language-Action foundation model built on Qwen-VL. Qwen-RobotManip introduces a unified alignment framework across the representation, motion, and behavioral dimensions of manipulation, making large-scale multi-source training coherent rather than conflicting. This alignment capability in turn enables Qwen-RobotManip to absorb manipulation data at a scale that prior training regimes could not sustain. A human-to-robot synthesis pipeline converts egocentric hand demonstrations into robot trajectories across 15 platforms, and a rigorous curation pipeline harmonizes heterogeneous datasets. Using only open-source datasets and human videos without proprietary data collection, Qwen-RobotManip constructs a ~38,100-hour pretraining corpus and exhibits emergent generalization capabilities, including zero-shot instruction following, robustness to perturbations, reactive error recovery, and cross-embodiment transfer. We find that standard benchmarks fail to capture pretraining quality and instead adopt OOD settings including RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF, and RoboTwin-XE. Qwen-RobotManip substantially outperforms prior state-of-the-art models, including π0.5, across all OOD settings, ranks 1st in RoboChallenge with a 20% relative improvement, and is validated on real-robot platforms including AgileX ALOHA, Franka, UR, and ARX.