Qwen-RobotManip 기술 보고서: 정렬이 로봇 조작 파운데이션 모델의 확장성을 가능하게 한다

초록

언어 및 멀티모달리티 분야의 기반 모델은 이기종 데이터를 통일된 형식으로 정렬하고 대규모로 학습하여 강력한 일반화를 달성합니다. 본 보고서에서는 이러한 확장 방식이 로봇 조작에 적용되어 진정한 일반화를 달성할 수 있는지 조사합니다. 이는 텍스트와 달리 조작 데이터는 본질적으로 이질적이고, 수집 비용이 높으며, 다양성이 좁아 정렬과 확장을 동시에 달성하기 어렵기 때문에 까다롭습니다. 우리는 Qwen-VL을 기반으로 구축된 일반화 가능한 시각-언어-행동 기반 모델인 Qwen-RobotManip을 제시합니다. Qwen-RobotManip은 조작의 표현, 동작 및 행동 차원에 걸친 통합 정렬 프레임워크를 도입하여 대규모 다중 소스 학습을 상충되지 않고 일관되게 만듭니다. 이러한 정렬 능력은 Qwen-RobotManip이 이전 학습 방식이 감당할 수 없었던 규모의 조작 데이터를 흡수할 수 있게 합니다. 인간-로봇 합성 파이프라인은 15개 플랫폼에서 1인칭 손 시연을 로봇 궤적으로 변환하고, 엄격한 큐레이션 파이프라인은 이기종 데이터셋을 조화롭게 만듭니다. 독점 데이터 수집 없이 오픈소스 데이터셋과 인간 비디오만을 사용하여 Qwen-RobotManip은 약 38,100시간의 사전 학습 말뭉치를 구축하고 제로샷 명령 수행, 교란에 대한 강건성, 반응적 오류 복구, 교차 체현 전이를 포함한 새로운 일반화 능력을 보여줍니다. 우리는 표준 벤치마크가 사전 학습 품질을 포착하지 못한다는 사실을 발견하고 대신 RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF 및 RoboTwin-XE를 포함한 OOD 설정을 채택합니다. Qwen-RobotManip은 π0.5를 포함한 기존 최첨단 모델을 모든 OOD 설정에서 크게 능가하며, RoboChallenge에서 20%의 상대적 개선으로 1위를 기록하고 AgileX ALOHA, Franka, UR 및 ARX를 포함한 실제 로봇 플랫폼에서 검증되었습니다.

English

Foundation models in language and multimodality achieve strong generalization by aligning heterogeneous data under a unified formulation and training at scale. In this report, we investigate whether this scaling recipe can be applied to robotic manipulation to achieve genuine generalization. This is challenging because, unlike text, manipulation data is heterogeneous by nature, expensive to collect, and narrow in diversity, making alignment and scale simultaneously difficult. We present Qwen-RobotManip, a generalizable Vision-Language-Action foundation model built on Qwen-VL. Qwen-RobotManip introduces a unified alignment framework across the representation, motion, and behavioral dimensions of manipulation, making large-scale multi-source training coherent rather than conflicting. This alignment capability in turn enables Qwen-RobotManip to absorb manipulation data at a scale that prior training regimes could not sustain. A human-to-robot synthesis pipeline converts egocentric hand demonstrations into robot trajectories across 15 platforms, and a rigorous curation pipeline harmonizes heterogeneous datasets. Using only open-source datasets and human videos without proprietary data collection, Qwen-RobotManip constructs a ~38,100-hour pretraining corpus and exhibits emergent generalization capabilities, including zero-shot instruction following, robustness to perturbations, reactive error recovery, and cross-embodiment transfer. We find that standard benchmarks fail to capture pretraining quality and instead adopt OOD settings including RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF, and RoboTwin-XE. Qwen-RobotManip substantially outperforms prior state-of-the-art models, including π0.5, across all OOD settings, ranks 1st in RoboChallenge with a 20% relative improvement, and is validated on real-robot platforms including AgileX ALOHA, Franka, UR, and ARX.