EgoActor: Fondare la Pianificazione dei Compiti su Azioni Egocentriche Consapevoli dello Spazio per Robot Umanoidi tramite Modelli Visivo-Linguistici
EgoActor: Grounding Task Planning into Spatial-aware Egocentric Actions for Humanoid Robots via Visual-Language Models
February 4, 2026
Autori: Yu Bai, MingMing Yu, Chaojie Li, Ziyi Bai, Xinlong Wang, Börje F. Karlsson
cs.AI
Abstract
La distribuzione di robot umanoidi in scenari reali è fondamentalmente impegnativa, poiché richiede l'integrazione stretta di percezione, locomozione e manipolazione sotto osservazioni a informazioni parziali e in ambienti dinamicamente mutevoli, oltre a transizioni robuste tra sotto-attività di tipo diverso. Per affrontare queste sfide, proponiamo una nuova attività - EgoActing - che richiede di tradurre direttamente istruzioni di alto livello in azioni umanoidi varie, precise e spazialmente consapevoli. Istanziamo ulteriormente questo compito introducendo EgoActor, un modello visione-linguaggio (VLM) unificato e scalabile in grado di prevedere primitive di locomozione (ad esempio, camminare, girare, spostarsi lateralmente, cambiare altezza), movimenti della testa, comandi di manipolazione e interazioni uomo-robot per coordinare percezione ed esecuzione in tempo reale. Sfruttiamo una supervisione ampia su dati egocentrici esclusivamente RGB provenienti da dimostrazioni nel mondo reale, da domande e risposte di ragionamento spaziale e da dimostrazioni in ambienti simulati, consentendo a EgoActor di prendere decisioni robuste e contestualmente consapevoli e di eseguire inferenze fluide sulle azioni (in meno di 1 secondo) sia con modelli da 8B che da 4B parametri. Valutazioni estensive in ambienti sia simulati che reali dimostrano che EgoActor collega efficacemente la pianificazione astratta delle attività con l'esecuzione motoria concreta, generalizzando al contempo attraverso diverse attività e ambienti non visti.
English
Deploying humanoid robots in real-world settings is fundamentally challenging, as it demands tight integration of perception, locomotion, and manipulation under partial-information observations and dynamically changing environments. As well as transitioning robustly between sub-tasks of different types. Towards addressing these challenges, we propose a novel task - EgoActing, which requires directly grounding high-level instructions into various, precise, spatially aware humanoid actions. We further instantiate this task by introducing EgoActor, a unified and scalable vision-language model (VLM) that can predict locomotion primitives (e.g., walk, turn, move sideways, change height), head movements, manipulation commands, and human-robot interactions to coordinate perception and execution in real-time. We leverage broad supervision over egocentric RGB-only data from real-world demonstrations, spatial reasoning question-answering, and simulated environment demonstrations, enabling EgoActor to make robust, context-aware decisions and perform fluent action inference (under 1s) with both 8B and 4B parameter models. Extensive evaluations in both simulated and real-world environments demonstrate that EgoActor effectively bridges abstract task planning and concrete motor execution, while generalizing across diverse tasks and unseen environments.