EgoActor: Verankering van Taakplanning in Ruimtelijk Bewuste Egocentrische Acties voor Humanoïde Robots via Visueel-Taalmodellen
EgoActor: Grounding Task Planning into Spatial-aware Egocentric Actions for Humanoid Robots via Visual-Language Models
February 4, 2026
Auteurs: Yu Bai, MingMing Yu, Chaojie Li, Ziyi Bai, Xinlong Wang, Börje F. Karlsson
cs.AI
Samenvatting
Het inzetten van humanoïde robots in realistische omgevingen is fundamenteel uitdagend, omdat het een naadloze integratie vereist van waarneming, voortbeweging en manipulatie onder gedeeltelijke waarnemingen en dynamisch veranderende omstandigheden. Evenals een robuuste overgang tussen sub-taken van verschillende types. Om deze uitdagingen aan te pakken, stellen we een nieuwe taak voor – EgoActing – die vereist dat hoogwaardige instructies direct worden verankerd in diverse, precieze, ruimtelijk bewuste humanoïde acties. We concretiseren deze taak verder door EgoActor te introduceren, een verenigd en schaalbaar vision-language model (VLM) dat locomotorische primitieven (zoals lopen, draaien, zijwaarts bewegen, hoogte veranderen), hoofd bewegingen, manipulatiecommando's en mens-robotinteracties kan voorspellen om waarneming en uitvoering in real-time te coördineren. We benutten brede supervisie op egocentrische RGB-data van real-world demonstraties, ruimtelijk redenerende vraag-antwoordtaken, en gesimuleerde omgevingsdemonstraties, waardoor EgoActor robuuste, contextbewuste beslissingen kan nemen en vloeiende actie-inferentie (binnen 1 seconde) kan uitvoeren met zowel 8B- als 4B-parametermodellen. Uitgebreide evaluaties in zowel gesimuleerde als realistische omgevingen tonen aan dat EgoActor effectief abstracte taakplanning en concrete motorische uitvoering verbindt, terwijl het generaliseert over diverse taken en onbekende omgevingen.
English
Deploying humanoid robots in real-world settings is fundamentally challenging, as it demands tight integration of perception, locomotion, and manipulation under partial-information observations and dynamically changing environments. As well as transitioning robustly between sub-tasks of different types. Towards addressing these challenges, we propose a novel task - EgoActing, which requires directly grounding high-level instructions into various, precise, spatially aware humanoid actions. We further instantiate this task by introducing EgoActor, a unified and scalable vision-language model (VLM) that can predict locomotion primitives (e.g., walk, turn, move sideways, change height), head movements, manipulation commands, and human-robot interactions to coordinate perception and execution in real-time. We leverage broad supervision over egocentric RGB-only data from real-world demonstrations, spatial reasoning question-answering, and simulated environment demonstrations, enabling EgoActor to make robust, context-aware decisions and perform fluent action inference (under 1s) with both 8B and 4B parameter models. Extensive evaluations in both simulated and real-world environments demonstrate that EgoActor effectively bridges abstract task planning and concrete motor execution, while generalizing across diverse tasks and unseen environments.