Embodied-R1: Versterkt Belichaamd Redeneren voor Algemene Robotmanipulatie

Embodied-R1: Reinforced Embodied Reasoning for General Robotic Manipulation

August 19, 2025

Auteurs: Yifu Yuan, Haiqin Cui, Yaoting Huang, Yibin Chen, Fei Ni, Zibin Dong, Pengyi Li, Yan Zheng, Jianye Hao

cs.AI

Samenvatting

Generalizatie in embodied AI wordt belemmerd door de "seeing-to-doing gap" (kloof tussen waarnemen en handelen), die voortkomt uit dataschaarste en heterogeniteit van embodiment. Om dit aan te pakken, introduceren wij "pointing" (aanwijzen) als een uniforme, embodiment-onafhankelijke tussenrepresentatie, waarbij we vier kernvaardigheden voor embodied pointing definiëren die hoogwaardige visueel-taalkundige begrip verbinden met laagniveau actieprimitieven. We presenteren Embodied-R1, een 3B Vision-Language Model (VLM) dat specifiek is ontworpen voor embodied redeneren en pointing. We gebruiken een breed scala aan embodied en algemene visuele redeneerdatasets als bronnen om een grootschalige dataset, Embodied-Points-200K, te construeren, die essentiële embodied pointing-vaardigheden ondersteunt. Vervolgens trainen we Embodied-R1 met een tweefasen Reinforced Fine-tuning (RFT) curriculum, uitgerust met een gespecialiseerd multi-task beloningsontwerp. Embodied-R1 behaalt state-of-the-art prestaties op 11 embodied ruimtelijke en pointing benchmarks. Cruciaal is dat het robuuste zero-shot generalisatie demonstreert door een slagingspercentage van 56,2% te behalen in SIMPLEREnv en 87,5% over 8 real-world XArm-taken zonder enige taakspecifieke fine-tuning, wat een verbetering van 62% vertegenwoordigt ten opzichte van sterke baselines. Bovendien toont het model een hoge robuustheid tegen diverse visuele verstoringen. Ons werk laat zien dat een pointing-gerichte representatie, gecombineerd met een RFT-trainingsparadigma, een effectieve en generaliseerbare route biedt om de perceptie-actie kloof in robotica te overbruggen.

English

Generalization in embodied AI is hindered by the "seeing-to-doing gap," which stems from data scarcity and embodiment heterogeneity. To address this, we pioneer "pointing" as a unified, embodiment-agnostic intermediate representation, defining four core embodied pointing abilities that bridge high-level vision-language comprehension with low-level action primitives. We introduce Embodied-R1, a 3B Vision-Language Model (VLM) specifically designed for embodied reasoning and pointing. We use a wide range of embodied and general visual reasoning datasets as sources to construct a large-scale dataset, Embodied-Points-200K, which supports key embodied pointing capabilities. We then train Embodied-R1 using a two-stage Reinforced Fine-tuning (RFT) curriculum with a specialized multi-task reward design. Embodied-R1 achieves state-of-the-art performance on 11 embodied spatial and pointing benchmarks. Critically, it demonstrates robust zero-shot generalization by achieving a 56.2% success rate in the SIMPLEREnv and 87.5% across 8 real-world XArm tasks without any task-specific fine-tuning, representing a 62% improvement over strong baselines. Furthermore, the model exhibits high robustness against diverse visual disturbances. Our work shows that a pointing-centric representation, combined with an RFT training paradigm, offers an effective and generalizable pathway to closing the perception-action gap in robotics.